hadoop
文章平均质量分 72
xutao_2008_2000
电信行业
展开
-
hadoop&hive常用的命令-备忘
http://10.200.200.156:50070/dfshealth.jsp --dfs容量状态 http://10.200.200.156:50030/jobtracker.jsp --hadoop任务状态 http://10.200.200.156:50060/logLevel ---hadoop 日志级别 bin/hadoop fs -cat / hadoop fs原创 2014-02-12 11:27:15 · 628 阅读 · 0 评论 -
hadoop中combiner分析
待续原创 2014-02-12 16:09:15 · 440 阅读 · 0 评论 -
hive统计网站指标总结
关于数据倾斜 我们分组统计,结果分组字段分布很不均匀,大的key造成所在机器内存不足,长时间处理不完,导致任务不能结束 1.MAPJION会把小表全部读入内存中,在map阶段直接拿另外一个表的数据和内存中表数据做匹配,效率也会高很多 mapjion虽然省去小表的磁盘读写开销,join操作的匹配命中率还是很低。 我们有个类似的例子: 有一个小表由,起始ip地址,结束ip地址,地域code组原创 2014-05-20 16:42:18 · 1346 阅读 · 0 评论 -
linux学习笔记
待续。。。原创 2014-06-30 10:11:07 · 467 阅读 · 0 评论