2019 7.10学习笔记

set path 查看当前环境变量

安装scrapy框架：

1.安装“scrapy”:通过”pip install scrapy” 即可安装

2.如果是在windows下，还需要安装“pypiwin32”,如果不安装，运行scrapy项目的时候就会报错

创建一个scrapy项目

创建一个目录。进入目录 按住shift+鼠标右键   打开命令窗口 输入scrapy startproject 项目名   

 

scrapy.cfg 整个项目的配置文件
spiders 所有的爬虫都在里面
items.py 存储所有爬取数据的模型 相当于一个容器
middlewares.py  中间件（爬虫 或者 下载器）
pipelines.py 处理爬取下来的数据
settings.py 给爬虫跟下载配置相关 诸如（给爬虫设置请求头 下载前延迟）

 

创建一个spider

scrapy genspider 文件名 要爬取的网址

设置settings:

 

1.ROBOTSTXT_OBEY = False #如果是True回去网站根目录里找取robots.txt文件 如果找不到就返回了
2.设置请求头

DEFAULT_REQUEST_HEADERS = {  

    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}

 

转载于:https://www.cnblogs.com/jyjoker/p/11173562.html