前言:
关于爬虫,刚接触。
以下几个文档可以参考学习:
webmagic文档案例说明:http://webmagic.io/docs/zh/posts/ch4-basic-page-processor/pageprocessor.html
此文档比较全面,可以先看完此文档
WebMagic的四个组件
1.Downloader
Downloader负责从互联网上下载页面,以便后续处理。WebMagic默认使用了Apache HttpClient作为下载工具。
2.PageProcessor
PageProcessor负责解析页面,抽取有用信息,以及发现新的链接。WebMagic使用Jsoup作为HTML解析工具,并基于其开发了解析XPath的工具Xsoup。
在这四个组件中,PageProcessor对于每个站点每个页面都不一样,是需要使用者定制的部分。
3.Scheduler
Scheduler负责管理待抓取的URL,以及一些去重的工作。WebMagic默认提供了JDK的内存队列来管理URL,并用集合来进行去重。也支持使用Redis进行分布式管理。
除非项目有一些特殊的分布式需求,否则无需自己定制Scheduler。
4.Pipeline
Pipeline负责抽取结果的处理,包括计算、持久化到文件、数据库等。WebMagic默认提供了“输出到控制台”和“保存到文件”两种结果处理方案。
Pipeline定义了结果保存的方式,如果你要保存到指定数据库,则需要编写对应的Pipeline。对于一类需求一般只需编写一个Pipeline。
xpath语法参考介绍:
https://www.cnblogs.com/xingyyy/p/7111853.html
案例:
https://acm.taifua.com/bzoj/p/1000.html 到https://acm.taifua.com/bzoj/p/5000.html 不到5000
抽取其中内容如下:
源码结构抽取内容分析:
代码实现如下:
添加依赖:
抽取内容:
其中,UA本机查找复制即可
生成结果json源码如下:
这一步骤是为了生成文件,且名字定义,不然生成的是按照加密的字符形式生成的文件名,不方便阅读查看。
定义方法,实现Pipeline:
此步骤考虑生成文件名
执行main方法,等待执行完毕
等待完成:要保持网络顺畅
生成文件: