python从零开始到scrapy框架应用(youtube示例)

python是目前开发爬虫最好的语言，本次爬取youtube视频所需用到：

   python环境，scrapy框架，pycharm编译器，mongo数据库

步骤：

1.windows python环境搭建和安装：
  进入python官网https://www.python.org/进行下载python3.7，进行安装并配置环境变量

2.安装python编译器pycharm
  进入pycharm官网https://www.jetbrains.com 下载pycharm社区版本并安装

3.安装mongodb数据库

  进入mongodb官网进行下载https://www.mongodb.com/download-center/community

 

4.启动cmd通过以下命令安装scrapy框架
  pip install scrapy

5..搭建scrapy爬虫框架并使用pycharm打开
   通过命令 scrapy startproject youtube 创建爬虫项目，然后切换到youtube目录下创建爬虫文件：scrapy genspider youtubeInfo *使用pycharm打开，项目目录结构如图

6.scrapy各模块介绍:

item.py：用于设置爬虫想要爬取的字段

middlewares.py：中间件文件，用于处理反爬虫的文件，设置代理，异常处理等方式会写在这里面

pipelines.py：管道文件，主要用于数据保存

settings.py：通用配置文件，数据库设置，爬虫协议通常在这里面设置

spiders下的youtubeInfo.py文件：这是编写爬虫的文件，爬虫的爬取规则逻辑都在这里实现

爬虫文件编写完成后，在settings.py中将管道设置打开，通过scrapy crawl youtubeInfo 命令启动爬虫，爬虫数据被保存到mongodb数据库中

6.从mongodb数据库导出csv文件