hadoop
woshiaotian
点滴的积累,可以铸就未来。
QQ:346873803
EMAIL:346873803@qq.com
展开
-
我的第一个map/reduce 作业
使用cloudra 搭建了一个单机器的hadoop环境,编写了第原创 2014-07-04 18:13:15 · 774 阅读 · 0 评论 -
从hbase读取数据优化策略和实验对比结果
起因:工作需要,我需要每5分钟从hbase中,导出一部分数据,然后导入到ES中,但是在开始阶段编写的python脚本,我发现从hbase读取数据的速度较慢,耗费大量的时间,影响整个导数过程,恐怕无法在5分钟内完成导数工作在咨询了老人后,采取部门优化策略,并记录了实验结果。原创 2014-10-24 13:44:05 · 1847 阅读 · 1 评论 -
关于happybase中 row_prefix 参数
起因: 使用happybase 访问hbase 时 def scan(self, row_start=None, row_stop=None, row_prefix=None, columns=None, filter=None, timestamp=None, include_timestamp=False, batch_size=1原创 2014-12-05 12:41:03 · 3517 阅读 · 0 评论 -
从hadoop 中删除匹配指定字符串的任务
从hadoop 中删除匹配指定字符串的任务原创 2015-03-19 21:35:09 · 2202 阅读 · 0 评论