python+selenium+scrapy搭建简单爬虫
接触爬虫也有一段时间了,下面我就来简单介绍一种我认为较为直观有效的方式。基本搭配:python2.7+selenium+scrapy,selenium用来模拟真实用户操作浏览器的过程,scrapy用来提取网页内容。关于安装方式我就暂且提一下我接触过的两种:1.安装python2.7,使用pip install+包名的形式安装selenium和scrapy。一般这种情况下装scrapy都比较痛苦。2.
原创
2016-04-05 14:23:39 ·
12519 阅读 ·
2 评论