![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 92
艾V古斯
这个作者很懒,什么都没留下…
展开
-
EasyCrawler-使用WebMagic注解爬取早呀日报
背景 WebMagic作为一个Java爬虫社区比较活跃的开源框架,肯定有不少东西可以学习的,而且最重要的是有使用手册(http://webmagic.io/docs/zh/)。这不,我温故而知新时(最近,项目比较闲,0 Bug,0 需求的我????),发现了这家伙居然可以使用注解来进行爬虫。 WebMagic注解 看到使用手册的第5部分,我们可以看到WebMagic注解就那么一点东西,当然,这得是在你了...原创 2020-04-20 17:36:04 · 351 阅读 · 0 评论 -
EasyCrawler-爬取某岛国的病例统计网
背景 深圳老哥需求又来了,这次直接就扔过来一个网站:https://caloo.jp/achievements/ 两张图片: 然后,秒懂了,就是要爬取首页的分类以及各种分类下的病的数据统计。简单,搞起! 初版效果图 前两列为首页爬取出来的分类和病名,后面皆为点进去的详情页面信息,包括有:名字,描述,手术案列数,非手术案例数,合计等。 构思与实现 EasyCrawler并没有提供一个页面爬几...原创 2020-04-17 16:19:17 · 431 阅读 · 0 评论 -
EasyCrawler-Post请求之爬个优衣库
EasyCrawler-Post请求之爬个优衣库 继续上次深圳老哥提的需求,我总算完成任务交给他了。同时想着写写博客发发资源赚点csdn的积分的,但是好像没有那么容易,所以我还是决定将这个项目开源了。 EasyCrawler-Git地址: https://github.com/a81579261/EasyCrawler 由于我前端和后端的能力都不是特别突出,希望不喜勿喷,谢谢。 正文 效果图 后...原创 2019-12-24 17:29:53 · 735 阅读 · 0 评论 -
初识WebMagic之爬豆瓣影院
背景 前文说到我正开发一个全民爬虫的网站,然而这一举措被我一深圳老哥知道了,提了个需求给我,让我去爬取某网站的数据,然后我发现该网站数据不是前端渲染的,这样的话,我之前的应用就毫无用武之地了。接着,我打算参照Webcollector的POST Demo重新再写一套方法,结果。。。。。。不堪入目(搞不掂,而且Webcollector框架目前我理解不了)。杜某曰:“打不赢就加入。”,然后我就发现Web...原创 2019-12-13 15:30:56 · 243 阅读 · 1 评论