weixin_39720495-CSDN博客

原创为请求添加用户代理，深入了解 User-Agent

用户代理 User-Agent 可以简称为 UA在使用代码模拟网络请求时，很多网站会拒绝访问，如 https://blog.csdn.net/weixin_39720495/article/details/102698643 遇到的问题添加user-agent字段，网站就会知道该请求时来自于一个 mac 的桌面浏览器，会返回一个桌面版的界面。UA 的基本概念：概念user agent 用...

2019-10-23 12:08:11 2490

在爬 https://hotel.meituan.com/hangzhou/ 美团的一个酒店信息时候，浏览器链接访问正常，但是爬虫报错如下：...019-10-23 11:45:54 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)2019...

2019-10-23 11:52:51 2405

原创 pycharm 添加 scrapy 自定义调试 debug

在本地开发过程中，如果想要对 scrapy 的某个 spider 进行调试，可以手动添加调试器：如果这个界面为空，可以右键直接执行当前 spider ，然后会出现类似的配置；再点击 Edit Configurations 即可配置界面：主要分三步走，首先找到 scrapy 安装的路径第一步，添加 scrapy 脚本路径找到 scrapy 脚本所在路径在 linux 系统中使用如下...

2019-10-23 11:42:24 237

翻译 Python Scrapy 爬虫教程之对象加载器 Item Loader

Item Loader 对象加载器Item Loaders 对象加载器一、使用 Item Loaders 生成 items二、出入和输出处理器输入输出处理器剖析自定义函数作为处理器其他注意事项三、申明 Item Loaders四、申明输入输出处理器题外：输入/输出处理器的优先级五、Item Loader 上下文多种方式修改 Item Loader 上下文的值六、ItemLoader 类代码分析七...

2019-10-15 13:32:48 249

翻译 Scrapy 入门官方手册翻译简单明了

以 ‘quotes.toscrape.com’ 网站作为爬取的对象。Scrapy 入门官方手册创建项目第一个项目如何执行我们的 Spider刚才发生了什么start_requests 方法的简写提取数据提取标签文本正则匹配浏览器查看响应结果XPath 介绍提取 quotes 和 authors使用 spider 提取数据存储爬取的数据其他格式 JSON Lines项目管道 Item Pipel...

2019-10-10 17:38:14 686

原创 Scrapy 导出 JSON 时中文乱码

scrapy 导出 JSON 时中文乱码问题介绍解决方法修改后结果问题分析为什么日志中显示中文不乱码，导出时候出现乱码问题介绍通过 Scrapy 命令导出爬虫的结果，命令如下：scrapy crawl hotel -o hotel.json源代码如下(hotel.py)：# -*- coding: utf-8 -*-import scrapyclass HotelSpider(...

2019-10-09 09:42:20 693