- 博客(2)
- 收藏
- 关注
RSS订阅原创 RSS/sitemap系统
RSS/sitemap系统：时效性系统利用RSS/sitemap的过程是挖掘种子，定时抓取，解析链接发布时间，将较新的网页优先抓取并索引。 泛爬系统：泛爬系统设计良好的话有助于提高时效性网页的高覆盖率，但泛爬需要尽可能缩短调度周期。 种子调度系统：主要是一个时效性的种子库，这个种子库里面有一些信息调度系统会不断地扫描这个数据库，然后发给抓取集群，这个集群抓取完会进行一些抽取链接的处理，
2014-03-22 16:06:39
1262
原创 【CSDN云计算俱乐部】九城及携程的Hadoop大数据平台
2014年1月4日，CSDN云计算俱乐部在上海市第九城市信息技术有限公司培训室举办活动，本次活动的主题是“从Hadoop实践到基于业务的分析，开启你的数据掘金之路”。 早在2012年，中国网民就突破了5个亿，其中手机网民更接近4亿之巨。在数据为王的时代，如此多接入设备带来的价值不言而喻，因此大家一直在谈论大数据，一直在探讨如何以更低的成本做更全面、更准确的数据分析，因此大家也一直在寻找更好的
2014-03-22 16:06:12
553
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人