九茶

前言：近半年没有写博客了，一打开Markdown竟然不知道从何开始。半年时间，要分享的东西比较多，今天第一篇，分享一个我整理后的 User-Agent 集合。 对于爬虫开发者而言，我们经常修改浏览器的 User-Agent 伪装成移动端，从而像手机浏览器一样访问目标网站。爬虫程序带上不同的 User-Agent，可以从m端（甚至是wap端）爬取目标网站。具体方法见《爬虫福利：教你爬wap站》，下面

2016年12月12日更新：《天猫双12爬虫（福利：266万条商品数据免费下载）》背景：2016年11月11日，中午刷了一下天猫，突然来了兴致想要把天猫上参与双11活动的商品都爬下来。双11，不仅因为打折商品的数据比普通数据更有价值，更重要的是在双11，天猫、京东为了容纳大流量，肯定会把防爬机制都暂停了，这种机会难得，岂能不爬？ 之前没有爬过天猫/京东这些电商平台，对他们网站的结构和防爬机制也不是

前言：继《scrapy_redis去重优化（已有7亿条数据），附Demo福利》优化完去重之后，Redis的内存消耗降了许多，然而还不满足。这次对scrapy_redis的种子队列作了一些优化（严格来说并不能用上“优化”这词，其实就是结合自己的项目作了一些改进，对本项目能称作优化，对scrapy_redis未必是个优化）。scrapy_redis默认是将Request对象序列化后（变成一条字符串）存入

背景：前些天接手了上一位同事的爬虫，一个全网爬虫，用的是scrapy+redis分布式，任务调度用的scrapy_redis模块。大家应该知道scrapy是默认开启了去重的，用了scrapy_redis后去重队列放在redis里面。我接手过来的时候爬虫已经有7亿多条URL的去重数据了，再加上一千多万条requests的种子，redis占用了一百六十多G的内存（服务器，Centos7），总共才一百七十

背景：众所周知，Redis默认的配置会生成db0~db15共16个db，切分出16个db的一个作用是方便不同项目使用不同的db，防止的数据混淆，也为了方便数据查看。 Python在连接Redis时如果没有指定用哪一个db则默认使用db0。使用过scrapy_redis模块的同学也知道去重和种子队列都在db0上。现在有一个基于scrapy、Redis的分布式爬虫，是从同事那边接手过来的。原先没觉得s

前言：在爬虫的开发过程中，有些业务场景需要同时抓取几百个甚至上千个网站，此时就需要一个支持多爬虫的框架。在设计时应该要注意以下几点：代码复用，功能模块化。如果针对每个网站都写一个完整的爬虫，那其中必定包含了许多重复的工作，不仅开发效率不高，而且到后期整个爬虫项目会变得臃肿、难以管理。易扩展。多爬虫框架，这最直观的需求就是方便扩展，新增一个待爬的目标网站，我只需要写少量 必要的内容（如抓取规则、解

前言：这是Python爬虫中DNS解析缓存模块中的核心代码，是去年的代码了，现在放出来 有兴趣的可以看一下。 一般一个域名的DNS解析时间在10~60毫秒之间，这看起来是微不足道，但是对于大型一点的爬虫而言这就不容忽视了。例如我们要爬新浪微博，同个域名下的请求有1千万（这已经不算多的了），那么耗时在10~60万秒之间，一天才86400秒。也就是说单DNS解析这一项就用了好几天时间，此时加上DNS解

新浪微博爬虫主要抓取微博用户的个人信息、发表的微博、关注和粉丝关系等。此次主要对种子队列和去重策略作了优化，并更新了Cookie池的维护，只需拷贝代码即可实现爬虫分布式扩展，适合大规模抓取。

前言：几个月前，应朋友要求，写了一个linkedin爬虫，难度不大，但功能还算好玩，所以就整理了一下放出来了。代码见Github：LinkedinSpider。 爬虫功能：输入一个公司名称，抓取相关员工的linkedin数据，字段见下方截图。 正文：先来说一下linkedin的限制:不登录的状态，不能进行搜索，但是可以查看某个用户的linkedin信息（不够全）。linkedin可以搜用户（最

前言：爬虫开源死得快，新浪微博又改策略了。在去年的这个时候，微博还是没什么限制的。2016年12月我将新浪微博爬虫的代码作了一次更新，并将文章转到了知乎，爬微博的人似乎从那个时候开始多了许多。也许是这个缘故，微博开始对IP设了限制，接着禁了原来免验证码的登录方式，现在将weibo.cn的登录途径也关了，weibo.cn采用m.weibo.cn的登录，登录过程中可能出现图形解锁验证码。这种验证码比较少

背景之前有个业务需求，抓取用户在银行的个人信息（经授权）。但由于安全控件的原因，程序在密码框无法输入，导致无法抓取。银行流水，对网贷平台而言这是非常重要的征信数据。我所知道的，就有好些爬虫在为安全控件的问题头疼，甚至有专门的外包，寻求解决方案。我做过各种检索和尝试，发现大部分方法都是无效的。但银行征信数据的采集，确实有些平台在做，那就说明这个问题能破，那也就没什么好担心的了，静下心一点...

天猫双12爬虫代码分享，附266万活动商品数据免费下载。

代码请移步GitHub：QQSpider爬虫功能：QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息，详细可见数据库说明。 判重使用“内存位”判重，理论上亿数量级的QQ可瞬间判重，内存只占用400M+。 爬虫速度可达到单机每天400万条数据以上（具体要考虑网速、网络带宽、稳定性等原因。我在学校是400万+，但在公司那边却只有六成的速度，普通家庭网络可能会更

前言：爬虫是偏IO型的任务，分布式爬虫的实现难度比分布式计算和分布式存储简单得多。 个人以为分布式爬虫需要考虑的点主要有以下几个：爬虫任务的统一调度爬虫任务的统一去重存储问题速度问题足够“健壮”的情况下实现起来越简单/方便越好最好支持“断点续爬”功能Python分布式爬虫比较常用的应该是scrapy框架加上Redis内存数据库，中间的调度任务等用scrapy-redis模块实现。

代码请移步GitHub：SinaSpider（上面有跳转链接，别再问我代码在哪里了） 爬虫功能：此项目实现将单机的新浪微博爬虫（见《新浪微博爬虫分享（一天可抓取 1300 万条数据）》）重构成分布式爬虫。Master机只管任务调度，不管爬数据；Slaver机只管将Request抛给Master机，需要Request的时候再从Master机拿。 环境、架构：开发语言：Python2.7开

前言：玩过爬虫的朋友应该都清楚，爬虫难度：www > m > wap （www是PC端，m和wap是移动端，现在的智能手机一般用的是m站，部分老手机用的还是wap），原因也很简单，现在的网站越来越多地使用AJAX加载，反爬虫机制也厉害。而像wap这种移动端网站限制比较小，网页结构也简单，我们获取、解析起来都简单很多，理论上速度也会快很多。所以如果允许的话我们尽量采用wap站抓取。 正文：可

这算是我第一次使用框架吧，说来惭愧。 此前用Request带上cookie实现、（稍微）完善了QQ空间的爬虫（传送门），接下来想实现分布式去爬。其实只要能实现待爬QQ队列的共享，分布式的主要问题也就解决了。但是觉得这样实现的爬虫项目有点“不正规”，所以想用Scrapy框架和Redis数据库来整顿现有爬虫。无奈公司里也没什么人指点，全凭一人摸爬滚打，过程有点痛苦，但自信只要敢啃，还是可以拿下的，不成

。

前言：曾经模仿别人的代码写过几个小爬虫，不过都是皮毛而已，下载一些图片，很简单的爬虫。 现在想系统的学习一下python网络爬虫，包括爬虫多线程、登陆、验证码、分布式、优化等方面。学习的方式是直接爬，一点点深入，遇到问题逐个解决。希望利用博客记录一下自己学习爬虫的过程，放出源代码，希望对后面学习的朋友提供个参考，同时希望通过大家的指正进行查缺补漏。运行环境： python2.7，Eclipse+

（更多爬虫请见：[我的爬虫史](http://blog.csdn.net/Bone_ACE/article/details/50195839)）代码说明：曾经模仿实现过下载淘宝MM图片的爬虫，现在重新拾起爬虫，也是先从下载图片开始。本爬虫用来下载百度壁纸（传送门）。 源代码：#encoding=utf-8import urllibimport urllib2impo

前言：春节期间，无法全身心投入地去写爬虫，那就玩玩验证码吧，应该比较有趣！首次接触验证码识别，用pytesser接触一下最简单的验证码先，代码参照：使用python以及工具包进行简单的验证码识别。具体细节可以参见原文，里面安装和报错处理没有详细记录，我在此处主要记录一下自己的安装及处理过程。 效果：可识别以下类型的验证码： 正文：代码：# encoding=utf-8from

前言：“去重”是日常工作中会经常用到的一项技能，在爬虫领域更是常用，并且规模一般都比较大。去重需要考虑两个点：去重的数据量、去重速度。为了保持较快的去重速度，一般选择在内存中进行去重。数据量不大时，可以直接放在内存里面进行去重，例如python可以使用set()进行去重。当去重数据需要持久化时可以使用redis的set数据结构。当数据量再大一点时，可以用不同的加密算法先将长字符串压缩成 16/

前言有些网站为了追求数据的实时更新，很多时候会采用 websocket 的方式，例如股票交易数据、数据货币交易平台等。关于websocket的机制，网上不乏相关资料。但关于websocket的爬虫文章，还是比较少的。所以特地写此文章做个分享，希望对他人有所帮助。 正文1、 首先要意识到，websocket和普通的HTTP请求有些不同。websocket的方式：用户浏览器（客户...