Pycharm: 用Scrapy框架爬取美剧天堂排行前100

 记录一下美剧天堂的爬虫

运行环境：

• pycharm 2021
• Anaconda 3 【Python 3.9】
• twisted包、whl包、lxml包、zope.interface包、pywin32包、pyOpenSSL包、Scrapy框架

目录

第一步：设置Scrapy框架

第二步：创建Scrapy项目 

第三步：编写爬虫代码

 1. 编写Scrapy爬虫

 2. 修改item.py

 3. 修改Setting.py

 4. 修改pipelines.py

 5. 运行scrapy

---

第一步：设置Scrapy框架

因为scrapy框架需要多个包的支持，所以需要先在Terminal里面装好一些包。如下所示：

• twisted包

#author tinge-L#
pip install twisted

• whl包、lxml包、zope.interface包、pywin32包、pyOpenSSL包同理
• 在上述包安装成功后，输入pip install scrapy，安装好scrapy框架

  #author tinge-L#
  pip install scrapy

  在python console（控制台）输入"import scrapy"命令，再输入scrapy.version_info，即可查看Scrapy库的版本

  #author tinge-L#
  import scrapy
  scrapy.version_info

  

  如上图所示，我安装的scrapy是2.4.1版本

       至此，Scrapy框架安装完成，进入下一步：创建scrapy项目

第二步：创建Scrapy项目 

  1. 在PycharmProjects中打开cmd命令，输入以下指令