用anaconda安装
这种方法是最快的。前提是安装了anaconda。
方法:命令行执行 conda install scrapy
询问是否安装新的包 ,输入y回车即可。
整个过程非常省心。
———————————————————————————————————————————
不使用anaconda的话,可以看下面的方法:
常规安装
首先在命令行测试一下:
这说明scrapy框架还没有安装。
由于主要使用pip安装,所以我们先检查一下:
第一步:安装wheel
pip install wheel
第二步:安装 lxml
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
下载好以后,把路径复制一下:
然后使用pip install + 路径 进行安装
第三步:安装pyOpenSSL
从官方网站 https://pypi.python.org/pypi/pyOpenSSL#downloads 找到对应版本的whl文件。
下载之后同样把路径和名称复制一下,然后用pip install +路径来安装:
第四步:安装 Twisted
这是一个异步框架,是scrapy的核心。
从 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到对应版本的whl文件下载:
按照上面的方法,同样用pip安装就可以了。
第五步:安装pywin32
官方网站 https://sourceforge.net/projects/pywin32/files/pywin32/ 从222版本开始后,只在github上发布了,所以我们找到github上的地址:
https://github.com/mhammond/pywin32/releases
注意:选择最接近本机环境版本的安装包来进行安装,不然可能会失败。
下载后直接运行安装,然后狂点下一步即可,路径会默认安装在python的目录下。
第六步:安装Scrapy
pip install scrapy
大功告成!
试一下:
这代表以及安装成功。
测试
创建第一个爬虫:
scrapy startproject papapa #创建一个爬虫项目
cd papapa #进入到爬虫项目目录
scrapy genspider baidu www.baidu.com#创建一个具体的爬虫
scrapy crawl baidu #运行爬虫
最后运行:
scrapy genspider baidu www.baidu.com
很悲剧,报错了。发生了“ImportError:DLL load failed:操作系统无法运行%1 ”的错误。
查了一下,解决办法如下:把C:\Windows\System32目录下的libeay32.dll和ssleay32.dll删除即可(但是可能会对其他依赖这两个DLL的软件有影响)。
我这儿没有ssleay32.dll,只删除了一个。
再来试试:
这回可以了。
运行爬虫:
scrapy crawl baidu
稳哪。