WebMagic
文章平均质量分 58
Zachariahs
这个作者很懒,什么都没留下…
展开
-
初次尝试WebMagic来编写一个爬取CSDN单页面的Demo
作为一名小菜鸡,经常看到很多博客在说python的爬虫的优点以及好处,但是由于工作比较忙,以及暂时不想把重心转移到新的语言的学习上,去百度了java的爬虫框架. 结果找到了这一款WebMagic框架,基于Java,由国人编写,功能很完善,所以尝试一下. 本例使用Idea编译器,基于Maven创建了项目,引入了WebMagic的相关包以及log4j...原创 2018-09-27 09:17:52 · 473 阅读 · 0 评论 -
WebMagic爬虫Demo尝试(二) - 多页面
上篇记录了第一个Demo,使用WebMagic进行了单页面的信息获取,在控制台输出了信息,这次来进行多页面的信息获取,然后存储到数据库,使用Mybatis框架,mysql5.5库pom.xml,以及log4j的配置参见上文这里记录mybatis-config.xml的配置以及数据库地址的配置jdbc.driver=com.mysql.jdbc.Driverjdbc.url=jdbc...原创 2018-09-28 10:43:07 · 1868 阅读 · 0 评论 -
WebMagic爬虫Demo(三) - 用户博客详细数据
国庆放假Ending快乐,又上班啦,上次记录了WebMagic爬取用户的博客列表的信息,这次再深一层,判断如果爬取到用户的博客列表url,直接进去爬取用户的博客详细信息~先放出最终爬取的数据:爬取了csdn用户博客排名第二还是第三的用户的博客数据,涉及到的问题就是,上一次的爬取,我们仅仅是在多个html页面结构都相同的情况下进行了反复的下载页面,解析页面,爬取页面,这次的页面涉及到...原创 2018-10-08 09:31:34 · 487 阅读 · 0 评论 -
WebMagic爬虫Demo(四) - 爬点表情包(斗图网)
最近玩一个坑爹项目,头都炸了,快写完了,来更新下.上次写了关于CSDN单用户的所有博客数据详情的Demo,对于大多数人来说没啥卵用,没啥意思这些写个稍微有点用的,在日常生活中,年轻人之间聊天用表情包的很多吧.是不是羡慕别人有那么多好玩的表情包?这次来自己爬一个网站的表情包,存到本地,用的时候慢慢挑~相关配置请直接回溯到Demo二或者Demo一进行查看,这里就不增加重复代码了先来...原创 2018-10-25 09:59:45 · 602 阅读 · 1 评论