PyCharm安装scrapy框架

                                PyCharm安装scrapy框架

一、系统环境说明：

操作系统：windows10 64位专业版；

python版本：python 3.5。

 

二、安装准备：

1、安装pip工具

2、下载并安装Twisted（我的python版本是3.5的，所以对应的Twisted也要3.5的。根据个人的python版本号下载）。

下载地址：点击下载Twisted

3、安装Twisted

使用pip命令安装下载的Twisted。

pip install Twisted-19.10.0-cp35-cp35m-win_amd64.whl

安装成功后，会有提示：

3、安装scrapy：

使用pip命令安装：

pip install scrapy

如果使用上面的安装比较慢，可以使用国内的豆瓣源：

pip install -i https://pypi.douban.com/simple scrapy

4、安装完成后，在命令行下输入：scrapy可以查看是否安装成功。

5、安装scrapy成功后，启动项目时，可能会报错“没有win32模块”，需要安装pypiwin32模块。

pip install pypiwin32

6、我们在F:\My_PyPro路径下，创建一个ScrapyProject用作项目路径。

使用 scrapy startproject 命令创建一个项目：

scrapy startproject my_spiders

7、配置PyCharm：

点击安装scrapy:

8、配置好之后，我们打开刚才创建的my_spiders项目，如下图所示：

scrapy.cfg: 项目的配置文件。
my_spiders/: 该项目的python模块，之后将在此加入代码。
my_spiders/items.py: 项目中的item文件，主要是创建爬虫存储的字段。
my_spiders/middlewares.py是中间件，主要是编写下载中间件、Cookies中间件等。
my_spiders/pipelines.py: 项目中的pipelines文件，用来爬虫后数据的处理（如存储到CSV、存储到数据库等）。
my_spiders/settings.py: 项目的设置文件。
my_spiders/spiders/: 放置spider代码的目录。

9、使用命令创建一个测试脚本：

scrapy genspider baidu "http://www.baidu.com"

可以在PyCharm中看到我们创建的脚本文件：

10、运行脚本：

scrapy crawl baidu

 

本文原创作者：冯一川（ifeng12358@163.com），未经作者授权同意，请勿转载。如需获取本程序源代码和资源，欢迎发邮件与我联系。