- 博客(5)
- 收藏
- 关注
原创 蘑菇街商品数据抓取
抓取蘑菇街商品数据主要用于研究,不用于商业用途。 so 1.获取分类列表页面,如 洁面 2.查看这个页面的源代码会发现主要的数据请求都是异步Ajax实现的,上面页面就是一个空的框架壳子,所以我们需要找到Ajax请求地址 3. 4.去页面代码中找到实现这个新的请求地址的代码<!-- ajax 参数 param-name里填参数名 value填参数值--> <input type
2016-03-14 15:52:49
4363
2
原创 翻译规则词汇化概率用streaming实现的实例
使用combiner后能够减少io操作,700万左右的测试数据速度提高了1倍,数据更大提升效果更明显。因为运算量较小,此处使用了streaming方式,性能和pipes相差不大。mapper负责解析输入的对齐格式sourcetargetalignmentcombiner负责合并src和tgt的频度,减少给reduce带来的io负担reduce负责count(src,tgt)/cou
2013-11-16 21:57:31
749
原创 部署hadoop时常见错误解决
1. 运行代码时Authenticate错误 进入hadoop安装目录的src目录下对pipes和utils重新编译, ./configuremake install第一步时会遇到提示没有找到libssl.so确认/usr/lib/目录下有这个链接库,如果有的话直接在configure 报错那行注释掉exit,没有的话装一个openssl然后编译hadoop代码时用sr
2013-11-16 21:49:27
697
原创 hadoop pipes模式中combiner的使用
和streaming模式不同,pipes模式中提供的接口没有直接的Combiner Class定义,但是在他的TemplateFactory头文件中有一个template <class mapper, class reducer, class partitioner, class combiner, class recordReader> class Te
2013-11-16 21:47:06
926
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人