WebMagic
文章平均质量分 92
艾V古斯
这个作者很懒,什么都没留下…
展开
-
EasyCrawler-使用WebMagic注解爬取早呀日报
背景 WebMagic作为一个Java爬虫社区比较活跃的开源框架,肯定有不少东西可以学习的,而且最重要的是有使用手册(http://webmagic.io/docs/zh/)。这不,我温故而知新时(最近,项目比较闲,0 Bug,0 需求的我????),发现了这家伙居然可以使用注解来进行爬虫。 WebMagic注解 看到使用手册的第5部分,我们可以看到WebMagic注解就那么一点东西,当然,这得是在你了...原创 2020-04-20 17:36:04 · 364 阅读 · 0 评论 -
初识WebMagic之爬豆瓣影院
背景 前文说到我正开发一个全民爬虫的网站,然而这一举措被我一深圳老哥知道了,提了个需求给我,让我去爬取某网站的数据,然后我发现该网站数据不是前端渲染的,这样的话,我之前的应用就毫无用武之地了。接着,我打算参照Webcollector的POST Demo重新再写一套方法,结果。。。。。。不堪入目(搞不掂,而且Webcollector框架目前我理解不了)。杜某曰:“打不赢就加入。”,然后我就发现Web...原创 2019-12-13 15:30:56 · 263 阅读 · 1 评论