使用工具:Python3.6版本
Python官网:https://www.python.org/
目录
Scrapy的安装
pip install Scrapy。在此之前需要先安装几个包:wheel、lxml以及twisted
cmd执行语句需要进入到对应的python根目录的Scripts文件夹下D:\hailong\Python3.6\Scripts
然后依次运行如下语句:
(1) pip install wheel
(2) pip install lxml
(3) pip install twisted
(4) 最后 pip install scrapy
安装好的wheel、lxml、twisted、scrapy包都在此路径下D:\hailong\Python3.6\Lib\site-packages
(5) 验证Scrapy框架是否安装成功:
打开python,输入import scrapy和scrapy.version_info可以查看scrapy的版本信息
Scrapy爬取数据步骤
一、创建工程:
创建一个文件夹,任意命名,然后打开cmd进入该目录。
输入命令:Scrapy startproject m