九茶

强者自强,厚积薄发。

分布式多爬虫系统——架构设计

前言:在爬虫的开发过程中,有些业务场景需要同时抓取几百个甚至上千个网站,此时就需要一个支持多爬虫的框架。在设计时应该要注意以下几点: 代码复用,功能模块化。如果针对每个网站都写一个完整的爬虫,那其中必定包含了许多重复的工作,不仅开发效率不高,而且到后期整个爬虫项目会变得臃肿、难以管理。 易扩展。多...

2017-02-12 23:52:06

阅读数 22580

评论数 14

新浪微博分布式爬虫分享

代码请移步GitHub:SinaSpider(上面有跳转链接,别再问我代码在哪里了) 爬虫功能: 此项目实现将单机的新浪微博爬虫(见《新浪微博爬虫分享(一天可抓取 1300 万条数据)》)重构成分布式爬虫。 Master机只管任务调度,不管爬数据;Slaver机只管将Request抛给Maste...

2016-03-16 15:38:48

阅读数 18607

评论数 5

新浪微博爬虫分享(一天可抓取 1300 万条数据)

代码请移步GitHub:SinaSpider爬虫功能: 此项目和QQ空间爬虫类似,主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注(详细见此)。 代码获取新浪微博Cookie进行登录,可通过多账号登录来防止新浪的反扒(用来登录的账号可从淘宝购买,一块钱七个)。 项目爬的是新浪微博wap站,结构...

2016-03-16 12:11:22

阅读数 124364

评论数 129

QQ空间爬虫分享(一天可抓取 400 万条数据)

代码请移步GitHub:QQSpider爬虫功能:QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息,详细可见数据库说明。 判重使用“内存位”判重,理论上亿数量级的QQ可瞬间判重,内存只占用400M+。 爬虫速度可达到单机每天400万条数据以上(具体要考...

2016-03-01 13:30:15

阅读数 39948

评论数 37

SublimeText3 安装和配置,以及配置 Python 环境

前言:我以前就用着 SublimeText 2,但是 python 环境一直不能用。昨天看到《如何优雅地使用 Sublime Text》这篇文章,据说 SublimeText 3 能瞬间启动,就忍不住想换掉2版了。我主要在日常查看、编辑文档的时候用一下SublimeText,偶尔作为编辑器敲敲Py...

2015-12-30 14:45:48

阅读数 9708

评论数 1

傅里叶分析之掐死教程(完整版)

原文链接:http://zhuanlan.zhihu.com/wille/19763358 作 者:韩 昊 知 乎:Heinrich 微 博:@花生油工人 知乎专栏:与时间无关的故事 谨以此文献给大连海事大学的吴楠老师,柳晓鸣老师,王新年老师以及张晶泊老师...

2015-09-21 22:09:44

阅读数 2389

评论数 1

10只老鼠与1000瓶药水

题目:1000 瓶无色无味的药水,其中有一瓶毒药,10只小白鼠拿过来做实验。喝了无毒的药水第二天没事儿,喝了有毒的药水后第二天会死亡。如何在一天之内(第二天)找出这瓶有毒的药水? 思路:10只小白鼠,喝了药水之后第二天只有存在和挂掉两种情况,我们用计算机二进制里面的0和1来进行模拟,1代表喝...

2015-04-01 09:27:29

阅读数 4056

评论数 0

提示
确定要删除当前文章?
取消 删除