Scrapy学习 一 安装及基本使用

一，安装

窗下在CMD中安装方法（python3要添加好环境变量）

1. wheel

pip install wheel

2. lxml

https://www.lfd.uci.edu/~gohlke/pythonlibs/#l xml

3. PyOpenSSL

https://pypi.org/project/pyOpenSSL/#downloads

4. twisted

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

5. Pywin32

这个安装的时候应该是可以自动获取python3的安装路径，但是我自己安装的时候是没有的，在网上搜索原因都是因为注册表，然后复制了大串的代码并且允许都没办法。后来我发现可以直接在cmd中使用pip install Pywin32进行安装。

6. Scrapy

PIP安装scrapy

    所有的包都下载到了python3的目录下，所以我们在使用的时候，是使用全局的环境。

 

 

二。基本使用

    在CMD中创建项目： 

          先切换到指定的目录，然后使用scrapy startproject项目名的命令创建项目

    创建蜘蛛

          进入项目，使用  scrapy ganspider爬虫名爬虫名。域名   来创建某个爬虫

    运行爬虫

          命令  scrapy crawl爬虫名 

    交互模式

          使用命令scrapy shell爬虫。域名进入交互模式

          交互模式下的命令基本上可以参考PyQuery

 

三.Pycharm中使用

    在pycharm中使用该项目可以直接使用开放的，找到文件夹打开创建的项目文件夹

使用系统的环境变量