一,安装
窗下在CMD中安装方法(python3要添加好环境变量)
1. wheel
pip install wheel
2. lxml
https://www.lfd.uci.edu/~gohlke/pythonlibs/#l xml
3. PyOpenSSL
https://pypi.org/project/pyOpenSSL/#downloads
4. twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
5. Pywin32
这个安装的时候应该是可以自动获取python3的安装路径,但是我自己安装的时候是没有的,在网上搜索原因都是因为注册表,然后复制了大串的代码并且允许都没办法。后来我发现可以直接在cmd中使用pip install Pywin32进行安装。
6. Scrapy
PIP安装scrapy
所有的包都下载到了python3的目录下,所以我们在使用的时候,是使用全局的环境。
二。基本使用
在CMD中创建项目:
先切换到指定的目录,然后使用scrapy startproject项目名的命令创建项目
创建蜘蛛
进入项目,使用 scrapy ganspider爬虫名爬虫名。域名 来创建某个爬虫
运行爬虫
命令 scrapy crawl爬虫名
交互模式
使用命令scrapy shell爬虫。域名进入交互模式
交互模式下的命令基本上可以参考PyQuery
三.Pycharm中使用
在pycharm中使用该项目可以直接使用开放的,找到文件夹打开创建的项目文件夹
![](https://i-blog.csdnimg.cn/blog_migrate/890ba4b7eb120a70f528855de84ea08f.jpeg)