[爬虫]Scapy

1.安装(任意系统): pip install scrapy

 Linux下有可能报:安装Scrapy   报错

Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy) (from versions: )
No matching distribution found for Twisted>=13.1.0 (from Scrapy)

原因是没有安装Twisted

 

wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2
tar -jxvf Twisted-17.1.0.tar.bz2
cd Twisted-17.1.0
python setup.py install
cd ..
pip install scrapy

 

 解压报错还需要安装:yum -y install bzip2

 也可以使用:pip install Twisted==17.1.0  (https://pypi.org/project/Twisted/17.1.0/)

 

注意:这里有一个大坑,就是无论怎样都装不进Twisted,一直报setuptools too old.想了很多方法,试过

 

 pip install --upgrade pip
 pip install --upgrade setuptools

 发现都升级成功了,但是还是报错.然后查了一下pip的路径和version,发现是python3,那问题就出在python2和3的指向了.用python setup.py install,使用的是python2的,所以无论怎样更新,更新的都不是它.肯定报错了.这时

只需要使用python3 setup.py install,立马成功.

 

 

2.测试:Python下输入:

 

>>> import scrapy
>>> scrapy.version_info

 

输出(1, 5, 1),安装成功.

 

3.创建项目:

到你的项目路径下:

scrapy startproject example

 

4.数据信息:

在web页面任意item下右击审查元素可以看到其html信息

 

5.运行:

 

scrapy crawl books -o books.csv

 首先如果用的是python3.7,会报错: scrapy遇到async报错

 

每当出新语法糖，这些单词就会成为关键字，禁止当作变量名了。
这里async下面出现报错，因为await async成为了3.7的关键字，不能作为变量名使用。

进入manhole.py将async全改成async1就阔以了。

manhole.py路径可以从出错的log中看到.

 

然后报exceptions.ImportError: No module named _sqlite3

没有安装sqlite3,安装 sqlite-devel，重新安装python

 

yum install sqlite-devel

 

重新安装python,cd 解压文件夹,make 然后 make install