爬虫
文章平均质量分 73
浅零半泣
Github:https://github.com/Dengqlbq
展开
-
Scrapy学习笔记(3)爬取知乎首页问题及答案
目标:爬取知乎首页前x个问题的详情及问题指定范围内的答案的摘要power by: Python 3.6 Scrapy 1.4 json pymysql 项目地址:https://github.com/Dengqlbq/ZhiHuSpider.gitStep 1——相关简介本文将注意力放在代码实现上,代码思路的描述将另开一文Step 2——模拟登录知乎如果不登录是爬取不到信息的,所以首先要做的就是模拟原创 2017-11-05 21:05:47 · 4787 阅读 · 4 评论 -
Scrapy学习笔记(2)分布式爬虫
目标:分布式爬取起点小说X类型小说前X页的所有小说power by: Python 3.6 Scrapy 1.4 pymysql scrapy-redis redis 3.6 macOS 10.12.6 Ubuntu 16.04.2原创 2017-10-20 20:08:49 · 651 阅读 · 0 评论 -
Scrapy学习笔记(1)初探Scrapy
目标:爬取起点小说X类型小说前X页的所有小说并将所有简介做成词云power by: Python 3.6 Scrapy 1.4 pymysql wordcloud macOS 10.12.6原创 2017-09-25 23:14:04 · 772 阅读 · 0 评论 -
爬取京东的一些思路
简介在之前的一个爬取知乎问题和答案的项目中遇到了许许多多的问题,写下此篇文章作为总结和回顾项目文章 http://blog.csdn.net/sinat_34200786/article/details/78770356项目地址 https://github.com/Dengqlbq/JDSpider原创 2018-01-02 18:51:58 · 8655 阅读 · 0 评论 -
Scrapy学习笔记(4)分布式爬取京东商品详情,评论和评论总结
目标:分布式爬取京东商品详情,评论和评论总结 Power by: Python 3.6 Scrapy 1.4 pymysql json redis 项目地址:https://github.com/Dengqlbq/JDSpider Step 1——相关简介 本文将注意力放在代码实现上,代码思路的描述将另开一文 代码思路:http://blog.csdn.net/si原创 2017-12-12 16:30:14 · 2155 阅读 · 0 评论