python爬虫网站信息_Python网页信息采集：使用P

一.引言

本文主要介绍如何使用Scrapy结合PhantomJS采集天猫商品内容，文中自定义了一个DOWNLOADER_MIDDLEWARES，用来采集需要加载js的动态网页内容。看了很多介绍DOWNLOADER_MIDDLEWARES资料，总结来说就是使用简单，但会阻塞框架，所以性能方面不佳。一些资料中提到了自定义DOWNLOADER_HANDLER或使用scrapyjs可以解决阻塞框架的问题，有兴趣的小伙伴可以去研究一下，这里就不多说了。

二.具体实现

1.环境需求

需要执行以下步骤，准备Python开发和运行环境：

Python--官网下载安装并部署好环境变量 （本文使用Python版本为3.5.1）

lxml--官网库下载对应版本的.whl文件，然后命令行界面执行 "pip install .whl文件路径"

Scrapy--命令行界面执行 "pip install Scrapy"，详细请参考《Scrapy的第一次运行测试》

selenium--命令行界面执行 "pip install selenium"

PhantomJS --官网下载

上述步骤展示了两种安装：1，安装下载到本地的wheel包；2，用Python安装管理器执行远程下载和安装。注：包的版本需要和python版本配套

2.开发和测试过程

然后开始编写代码，以下代码默认都是在命令行界面执行

1)创建scrapy爬虫项目tmSpider

2)修改settings.py配置

更改ROBOTSTXT_OBEY的值为False；

关闭scrapy默认的下载器中间件；

加入自定义DOWNLOADER_MIDDLEWARES。

配置如下：

3)在项目目录下创建middlewares文件夹,然后在文件夹下创建middleware.py文件，代码如下：

4)使用selenium和PhantomJS写一个网页内容下载器，同样在上一步创建好的middlewares文件夹中创建downloader.py文件，代码如下：

5) 创建爬虫模块

在项目目录E:\python-3.5.1\tmSpider，执行如下代码：

执行后，项目目录E:\python-3.5.1\tmSpider\tmSpider\spiders下会自动生成tmall.py程序文件。该程序中parse函数处理scrapy下载器返回的网页内容，采集网页信息的方法可以是：

使用xpath或正则方式从response.body中采集所需字段，

通过gooseeker api获取的内容提取器实现一站转换所有字段，而且不用手工编写转换用的xpath（如何获取内容提取器请参考python使用xslt提取网页数据）,代码如下：

6)启动爬虫

在E:\python-3.5.1\tmSpider项目目录下执行命令

输出结果:

提一下，上述命令只能一次启动一个爬虫，如果想同时启动多个呢？那就需要自定义一个爬虫启动模块了，在spiders下创建模块文件runcrawl.py，代码如下

执行runcrawl.py文件，输出结果：

三.展望

以自定义DOWNLOADER_MIDDLEWARES调用PhantomJs的方式实现爬虫后，在阻塞框架的问题上纠结了很长的时间，一直在想解决的方式。后续会研究一下scrapyjs，splash等其他调用浏览器的方式看是否能有效的解决这个问题。

End

作者：华天清

来源：知乎

本文均已和作者授权，如转载请与作者联系。