younghz

不论怎样,保持前进。

关于“淘宝爆款”的数据抓取与数据分析

数据爬取 爬取对象:淘宝“连衣裙 夏”的搜索结果。爬取对象的选择分析我在文章中也有提及。 工具:Scrapy。Repository内容即为当时实现的代码。 数据分析 分析内容可见此Repository的Wiki。也可见上面问题链接。 工具:ipython & matplotlib。 ...

2014-07-06 09:44:02

阅读数:21590

评论数:4

一淘搜索之网页抓取系统分析与实现(4)- 实现&总结

以一淘搜索的crawler为核心展开的分析到此基本结束了,除了django和mysql部分没有涉及,其它部分都进行了test,尤其是围绕crawler,所展开的分析和实现主要有: 1. 分布式crawler与分布式pipeline处理。 使用scrapy+redis实现,用到了scrapy...

2014-07-30 20:19:23

阅读数:4677

评论数:1

资料整理

scrapy: (1)http://my.oschina.net/u/1024140/blog/

2014-07-28 15:00:48

阅读数:4315

评论数:0

一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django

结构图 scrapy+webkit: 如结构图③。 scrapy不能实现对javascript的处理,所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或者功能更强大的splash. 关于scrapy+webkit的使用后期进行分析。 scrapy+...

2014-07-28 11:42:58

阅读数:7210

评论数:2

一淘搜索之网页抓取系统分析与实现(2)—redis + scrapy

1.scrapy+redis使用 (1)应用 这里redis与scrapy一起,scrapy作为crawler,而redis作为scrapy的调度器。如架构图中的②所示。 图1 架构图 (2)为什么选择redis redis作为调度器的实现仍然和其特性相关,可见《一淘搜索之网页抓...

2014-07-28 11:36:38

阅读数:6523

评论数:0

一淘搜索之网页抓取系统分析与实现(1)—redis使用

原创文章,链接: 1.redis使用 (1)应用 redis在抓取系统中主要承担两方面的责任,其一是作为链接存储数据库,其二是与ceawler一起并作为crawler的调度器。后者将在“scrapr+redis(url)”中阐述。 (2)为什么选择redis redis的特性体现在“...

2014-07-28 11:31:08

阅读数:6260

评论数:0

怎样编写scrapy扩展

原创文章,链接: 在scrapy使用过程中,很多情况下需要根据实际需求定制自己的扩展,小到实现自己的pipelines,大到用新的scheduler替换默认的scheduler。 扩展可以按照是否需要读取crawler大致分为两种,对于不需要读取的,比如pipelines的编写,只需要实现默...

2014-07-28 11:14:19

阅读数:7639

评论数:2

scrapy-redis源码分析

原创文章,链接: (I) connection.py 负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用,总之涉及到redis存取的都要使用到这个模块。 (II) dupefilter.py 负责执行requst的去重,实现的很有技巧性,使用red...

2014-07-28 11:02:33

阅读数:11778

评论数:9

scrapy爬取深度设置

通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度,这个深度是与start_urls中定义url的相对值。也就是相对url的深度。例如定义url为:http://www.domz.com/game/,DEPTH_LIMIT=1那么限制爬取的只能是此url下一级的网页。 ...

2014-07-28 10:55:05

阅读数:16041

评论数:1

数据分析站点导航

中文互联网数据资料来源   平台机构 易观国际 互联网信息中心 淘宝数据平台 百度数据研究中心 艾瑞咨询 电子商务研究中心 IDC中国 百度数据中心 ...

2014-07-26 10:30:44

阅读数:3604

评论数:0

scrapy-redis实现爬虫分布式爬取分析与实现

一 scrapy-redis实现分布式爬取分析 所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository(链接:)已经做了翻译(README.r...

2014-07-24 20:21:19

阅读数:32617

评论数:5

升级scrapy-redis代码,使与更新版本scrapy兼容

scrapy-redis的安装要求是scrapy版本高于0.14,是

2014-07-24 16:59:34

阅读数:9401

评论数:1

redis研究笔记

一. redis Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: String...

2014-07-24 08:07:58

阅读数:4437

评论数:0

小米开源

作为一款Android系的产品,小米手机天然具有开源的基因。小米的MIUI系统,被认为是利用开源Android操作系统的成功典范。最新的小米路由器,也使用了路由器端著名的开源OpenWRT系统。除此之外,小米在日志框架、服务框架、HTTP Web框架、消息队列、搜索、分布式缓存、存储业务、监控报警...

2014-07-23 10:23:01

阅读数:6423

评论数:0

scrapy-redis实现scrapy分布式爬取分析

(1)在“http://www.zhihu.com/question/20899988”中,提到的: “那么,假设你现在有100台机器可以用,怎么用python实现一个分布式的爬取算法呢? 我们把这100台中的99台运算能力较小的机器叫作slave,另外一台较大的机器叫作master,...

2014-07-22 20:19:51

阅读数:7819

评论数:0

使用Git分支协同开发

原创,文章链接: 大型软件项目开发中,多分支的使用不仅能够并行开发多模块任务,也避免了Bug修正时引入新功能代码或是误删Bug代码造成以修复问题重现,更清晰的‘组织’项目的开发。 新建的分支一般都属于以下三个范畴内:发布分支(Bugfix分支)、特性分支和卖主分支。   一、发布分支 发布分支主要...

2014-07-19 18:44:43

阅读数:5313

评论数:1

智能指针tr1::shared_ptr、boost::shared_ptr使用

对于tr1::shared_ptr在安装vs同时会自带安装,但是版本较低的不存在。而boost作为tr1的实现品,包含 “Algorithms Broken Compiler Workarounds Concurrent Programming Containers Correctness and...

2014-07-19 17:57:29

阅读数:4149

评论数:0

为什么C++编译器不能支持对模板的分离式编译

转自: 首先,一个编译单元(translation unit)是指一个.cpp文件以及它所#include的所有.h文件,.h文件里的代码将会被扩展到包含它的.cpp文件里,然后编译器编译该.cpp文件为一个.obj文件(假定我们的平台是win32),后者拥有PE(Portable Execut...

2014-07-15 14:45:19

阅读数:3207

评论数:0

reStructuredText

reStructuredText 简明教程 060724 17:58 作者: Laurence 邮箱: 2999am@gmail.com ID: Kardinal @ Ubuntu.org.cn论坛 版权: ...

2014-07-13 21:54:18

阅读数:12508

评论数:0

读《搜索引擎技术基础》

为了更深入的了解与应用爬虫,花了一些时间读了清华大学和百度联合出版的《搜索引擎技术基础》。一直没有整理过这种专业性或技术类别的书,是因为涉及到的内容太多,不懂得也太多,根本整理不出来不如直接看书。但是对于这本书来说,本着了解的态度看,自然没有深究其中的某些晦涩的内容。下面以写下来的方式贯穿下自己的...

2014-07-10 21:57:10

阅读数:3676

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭