Python爬虫框架Scripy

安装环境

1安装wheel

pip install wheel

2安装lxml
在这个网站能下到scrapy所需要的环境包
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载python3.6对应的cp36

找到下载的对象—》右键—》属性——》安全——》对象
把对象内容复制下来在pip insatll

3安装PyOpenssl
网址：https://pypi.org/project/pyOpenSSL/#files
步骤基本同上 下载–》在对象–在环境中pip

4安装twisted(scrapy框架的核心)
网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
步骤基本同上 下载–》在对象–在环境中pip

5安装Pywin32
网址：http://sourceforge.net/projects/pywin32/files/pywin32/Build 220/

6安装scrapy

pip install scrapy

创建Scrapy工程

1:创建项目

scrapy startproject myspider

2进入项目：

cd myspider

3创建一个scrapy

scrapy genspider baidu www.baidu.com  #这个的名字不能和项目名一样

4运行

scrapy crawl baidu

案例：