为了使用各种应用场景,该项目的整个网络爬虫产品线包含了四类产品,如下图所示:
Python和相关依赖库的安装
运行环境:Windows10
安装Python3.5.2
Lxml 3.6.0
下载网页内容提取器程序
网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类,使用这个类,可以大大减少信息采集规则的调试时间
网络爬虫的源代码
运行过程如下:
将上面的代码保存到anjuke.py中,和前面2.3步下载的提取器类gooseeker.py放在同一个文件夹中
打开Windows CMD窗口,切换当前目录到存放anjuke.py的路径(cd xxxxxxx)
运行 python anjuke.py
请注意:为了让源代码更整洁,也为了让爬虫程序更有通用性,抓取规则是通过api注入到内容提取器bbsExtra中的,这样还有另外一个好处:如果目标网页结构变化了,只需通过MS谋数台重新编辑抓取规则,而本例的网络爬虫代码不用修改。
爬虫结果
在项目目录下可以看到多个result**.xml文件,文件内容如下图所示: