Python爬虫教程-32-Scrapy 爬虫框架项目 Settings py 介绍

                       

本篇介绍项目开发的过程中，对 Setting 文件的配置和使用

Python爬虫教程-32-Scrapy 爬虫框架项目 Settings.py 介绍

• settings.py 文件的使用
• 想要详细查看 settings.py文件的更多内容，可查看中文文档：
  
  • https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/settings.html

Settings 中配置 USER_AGENTS

• 在 settings.py 文件中很多东西默认是给注释掉的，当我们需要使用的时候，根据注释的提示，我们编写我们自己的内容 
  
• 例如：
  
  • 我们想设置一个 USER_AGENT 列表
  • 在 settings.py 文件中找到 USER_AGENT ，拷贝常用的  USER _AGENT 值在它下面
    
  • 但是 settings 只有一行，就是没有具体的内容，我们想要使用的话，就需要我们自己去填写
  • 这就需要我们自己在网上找到常用的浏览器 User-Agent 值， 我找到了一些，想要使用直接拷贝就可以

USER_AGENTS = [    "Mozilla/5.0 (compatibl