scrapy使用笔记

1.先装python环境

2.安装pip

3.使用pip安装

pip install lxml==3.4.2 // 有报错提示

考虑到是网络不稳定的问题，这时我们用国内的镜像源来加速

 

用pip安装依赖包时默认访问https://pypi.python.org/simple/，但是经常出现不稳定以及访问速度非常慢的情况，国内厂商提供的pipy镜像目前可用的有：

• http://pypi.douban.com/ 豆瓣
• http://pypi.mirrors.ustc.edu.cn/simple/ 中国科学技术大学

参考文章https://blog.csdn.net/u012592062/article/details/51966649

pip install lxml==3.4.2 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

• pyOpenSSL
  需要在官网下载wheel文件 pyOpenssL
  下载后使用

pip3 install pyOpenSSL-17.2.0-py2.py3-none-any.whl

Twisted
同理，需要在官网下载wheel文件 Twisted,但是有一件事，一定要记得在控制台下输入

>pip install Twisted-18.9.0-cp34-cp34m-win_amd64.whl

//下载好后安装提示不支持，可能当前python不支持这个版本，先不管了 后面如果又用到再说吧 ，然后直接安装scrapy

pip install scrapy   -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

安装好scrapy后可以在控制台直接新建项目了

cd到你定义好的目录

scrapy startproject xxxx //新建一个xxxx的项目，然后再目录下会生成一个xxxx的文件夹，里面有items,settings等文件，爬虫程序再spider文件夹下

爬取

进入项目的根目录，执行下列命令启动spider:

scrapy crawl xxxx

//参考文章：https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html