younghz

不论怎样,保持前进。

排序:
默认
按更新时间
按访问量

关于“淘宝爆款”的数据抓取与数据分析

数据爬取 爬取对象:淘宝“连衣裙 夏”的搜索结果。爬取对象的选择分析我在文章中也有提及。 工具:Scrapy。Repository内容即为当时实现的代码。 数据分析 分析内容可见此Repository的Wiki。也可见上面问题链接。 工具:ipython & matplotlib。 ...

2014-07-06 09:44:02

阅读数:19021

评论数:3

Scrapy研究探索(七)——如何防止被ban之策略大集合

话说在尝试设置download_delay小于1,并且无任何其他防止被ban的策略之后,我终于成功的被ban了。如下: 敌退我进,敌攻我挡。 本篇博客主要研究使用防止被ban的几大策略以及在scrapy中的使用。 1.策略一:设置download_delay 这个在之前的教程中已经使用...

2014-06-29 10:45:54

阅读数:33831

评论数:3

Git使用之——冲突解决一(git merge conflict)

由于在local做了改动,在执行git merge upstream/master出现conflict。现总结解决方法: 首先参考: http://yodalee.blogspot.com/2013/03/vimdiffgit-merge-conflict_28.html 使用vimdiff來解...

2013-11-02 00:10:17

阅读数:66497

评论数:22

已将GitHub scrapy-redis库升级,使其兼容最新版本Scrapy

1.代码升级 之前的问题: 随着Scrapy库的流行,scrapy-redis作为使用redis支持分布式爬取的工具,也不断的被大家发现。 但是,使用过程中你会发现的问题是由于scrapy-redis是基于较老版本的Scrapy,所以当你使用的是新版本的Scrapy时,不可避免的会出现警告,...

2014-09-07 16:19:31

阅读数:6108

评论数:2

关于提高效率的几点

有些时候感觉一直没闲着却没看见多少成果。突然看见

2014-08-21 20:36:45

阅读数:3348

评论数:0

关于CSDN几点用户体验较差的功能(收藏夹和草稿箱)

1. 收藏夹不去重。同一专栏或博客每点一次“收藏”都会增加到收藏夹中。 收藏内容一般有两种形式: (1)专栏收藏。 (2)博客文章收藏。 对于前者,虽然专栏的文章数量可能是不断在增加的,但是专栏地址是不变的。后者类似。由于收藏是以“标题+链接”形式实现的。那么通过文章/专栏地址进行去重是可...

2014-08-17 21:53:44

阅读数:4116

评论数:0

程序员能力矩阵

注意:每个层次的知识都是渐增的,位于层次n,也蕴涵了你需了解所有低于层次n的知识。 计算机科学 Computer Science   2n (Level 0) n2 (Level 1) n (Level 2) log(n) (Level 3)...

2014-08-05 12:30:55

阅读数:3313

评论数:0

一淘搜索之网页抓取系统分析与实现(4)- 实现&总结

以一淘搜索的crawler为核心展开的分析到此基本结束了,除了django和mysql部分没有涉及,其它部分都进行了test,尤其是围绕crawler,所展开的分析和实现主要有: 1. 分布式crawler与分布式pipeline处理。 使用scrapy+redis实现,用到了scrapy...

2014-07-30 20:19:23

阅读数:4550

评论数:1

资料整理

scrapy: (1)http://my.oschina.net/u/1024140/blog/

2014-07-28 15:00:48

阅读数:4196

评论数:0

一淘搜索之网页抓取系统分析与实现(3)—scrapy+webkit & mysql+django

结构图 scrapy+webkit: 如结构图③。 scrapy不能实现对javascript的处理,所以需要webkit解决这个问题。开源的解决方案可以选择scrapinghub的scrapyjs或者功能更强大的splash. 关于scrapy+webkit的使用后期进行分析。 scrapy+...

2014-07-28 11:42:58

阅读数:7030

评论数:2

一淘搜索之网页抓取系统分析与实现(2)—redis + scrapy

1.scrapy+redis使用 (1)应用 这里redis与scrapy一起,scrapy作为crawler,而redis作为scrapy的调度器。如架构图中的②所示。 图1 架构图 (2)为什么选择redis redis作为调度器的实现仍然和其特性相关,可见《一淘搜索之网页抓...

2014-07-28 11:36:38

阅读数:6399

评论数:0

一淘搜索之网页抓取系统分析与实现(1)—redis使用

原创文章,链接: 1.redis使用 (1)应用 redis在抓取系统中主要承担两方面的责任,其一是作为链接存储数据库,其二是与ceawler一起并作为crawler的调度器。后者将在“scrapr+redis(url)”中阐述。 (2)为什么选择redis redis的特性体现在“...

2014-07-28 11:31:08

阅读数:6158

评论数:0

怎样编写scrapy扩展

原创文章,链接: 在scrapy使用过程中,很多情况下需要根据实际需求定制自己的扩展,小到实现自己的pipelines,大到用新的scheduler替换默认的scheduler。 扩展可以按照是否需要读取crawler大致分为两种,对于不需要读取的,比如pipelines的编写,只需要实现默...

2014-07-28 11:14:19

阅读数:7316

评论数:2

scrapy-redis源码分析

原创文章,链接: (I) connection.py 负责根据setting中配置实例化redis连接。被dupefilter和scheduler调用,总之涉及到redis存取的都要使用到这个模块。 (II) dupefilter.py 负责执行requst的去重,实现的很有技巧性,使用red...

2014-07-28 11:02:33

阅读数:11418

评论数:9

scrapy爬取深度设置

通过在settings.py中设置DEPTH_LIMIT的值可以限制爬取深度,这个深度是与start_urls中定义url的相对值。也就是相对url的深度。例如定义url为:http://www.domz.com/game/,DEPTH_LIMIT=1那么限制爬取的只能是此url下一级的网页。 ...

2014-07-28 10:55:05

阅读数:14412

评论数:1

数据分析站点导航

中文互联网数据资料来源   平台机构 易观国际 互联网信息中心 淘宝数据平台 百度数据研究中心 艾瑞咨询 电子商务研究中心 IDC中国 百度数据中心 ...

2014-07-26 10:30:44

阅读数:3556

评论数:0

scrapy-redis实现爬虫分布式爬取分析与实现

一 scrapy-redis实现分布式爬取分析 所谓的scrapy-redis实际上就是scrapy+redis其中对redis的操作采用redis-py客户端。这里的redis的作用以及在scrapy-redis的方向我在自己fork的repository(链接:)已经做了翻译(README.r...

2014-07-24 20:21:19

阅读数:31251

评论数:5

升级scrapy-redis代码,使与更新版本scrapy兼容

scrapy-redis的安装要求是scrapy版本高于0.14,是

2014-07-24 16:59:34

阅读数:9219

评论数:1

redis研究笔记

一. redis Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: String...

2014-07-24 08:07:58

阅读数:4365

评论数:0

小米开源

作为一款Android系的产品,小米手机天然具有开源的基因。小米的MIUI系统,被认为是利用开源Android操作系统的成功典范。最新的小米路由器,也使用了路由器端著名的开源OpenWRT系统。除此之外,小米在日志框架、服务框架、HTTP Web框架、消息队列、搜索、分布式缓存、存储业务、监控报警...

2014-07-23 10:23:01

阅读数:5644

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭