![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
webmagic学习笔记
文章平均质量分 52
韦护的护
这个作者很懒,什么都没留下…
展开
-
webmagic学习开篇
想学java,就在Github找了一个开源项目——黄亿华先生写的纯java的爬虫框架webmagic。今年大四了,还有两个月就要毕业了。感觉现在开始学习java晚了呢~~~^_^~~~ webmagic源码传送门:https://github.com/code4craft/webmagic原创 2017-04-28 11:28:28 · 447 阅读 · 0 评论 -
webmagic学习笔记(2)---m2e插件的安装
webmagic是基于Maven构建的,而我是用Eclipse来写Java的,Maven并没有用过。所幸eclipse是可以通过安装m2e插件来实现Maven项目导入的。m2e的安装分为在线和离线两种方式,我选择的是在线安装方式。具体安装步骤如下: 1.打开eclipse。Help> Install New Software 弹出对话框。选择Add按钮。该对话框就是用于添加一个插件地址的。在“N原创 2017-04-28 22:41:58 · 510 阅读 · 0 评论 -
webmagic学习笔记(3)---eclipse下导入源码及第一个小爬虫简单分析
在笔记(2)中我们已经安装好了eclipse的m2e插件,以maven为构建工具的webmagic源码就可以导入到eclipse中了。 1.导入源码。 步骤如下: 打开eclipse file>import。在新弹出的导入项目对话框中会出现maven选项。如图 选择next一路下去,最终找到你的源码所在路径,将共计5将解压后的webmagic文件夹导入。 导入后eclipse下文件树如图:原创 2017-05-08 16:47:52 · 1213 阅读 · 0 评论 -
webmagic学习笔记(4)---webmagic总体架构分析
在笔记(2)、笔记(3)里,我们对webmagic的eclipse开发环境进行了配置并完成了第一个小爬虫的编写,以上算是对webmagic进行了一次感性的认识。从本篇博文开始,开始学习webmagic的实现细节。 一下内容是我在使用了webmagic进行一些小爬虫编写的基础上的一些自己的认识,很大一部分受官方的使用手册影响。说白了,就是自己在理解的基础上重新打了一遍。 首先,祭出总体架构图。原创 2017-05-09 17:16:51 · 829 阅读 · 0 评论