![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫Scrapy
学前班班长CC
go
展开
-
scrapy可能遇到的302问题
原创 2021-09-18 01:29:19 · 337 阅读 · 0 评论 -
Scrapy持久化存储
Scrapy持久化存储: 1、基于终端指令的之持久化存储 只能将parse方法中的返回值存储到本地指定后缀的文本文件中。 scrapy crawl xx -o filename.csv 2、基于管道持久化存储(重要) 在爬虫文件中进行数据解析 在item.py中定义相关属性 在爬虫文件中将解析到的数据存储封装到Item类型的对象中 将Item类型的对象提交给管道 在管道文件(piplines.py)中,接受爬虫文件提交过来的Item类型对象,且对其进行任意形式的持久化存储操作 在配置文件中开启管道机制原创 2021-08-26 01:06:10 · 186 阅读 · 0 评论 -
Scrapy中间件
Scrapy中间件 作用:批量拦截请求响应 爬虫中间件(有重复请求,不常使用) 下载中间件(推荐使用) 1、拦截请求: - 篡改请求url - 伪装请求头信息(UA Cookie) - 设置请求代理(重要) 2、拦截响应 - 篡改响应数据 3、代理操作必须使用中间件才可以实现 - process_exception - request.meta[‘proxy’] = ‘http://ip:port’ ...原创 2021-08-25 17:38:14 · 60 阅读 · 0 评论