- 博客(2)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MapReduce实现join操作
前阵子把MapReduce实现join操作的算法设想清楚了，但一直没有在代码层面落地。今天终于费了些功夫把整个流程走了一遭，期间经历了诸多麻烦并最终得以将其一一搞定，再次深切体会到，什么叫从计算模型到算法实现还有很多路要走。数据准备首先是准备好数据。这个倒已经是一个熟练的过程，所要做的是把示例数据准备好，记住路径和字段分隔符。准备好下面两张表：（1）m_ys_lab
2013-05-30 19:50:44
22154
9
原创 Hadoop命令操作
查看某文件夹下所有文件大小并按降序排序：hf -dus /group/userdir/hive/* |sort -n-r-k2 > /home/username/output/result.txt或者hf -count/group/userdir/hive/* |sort -n -r -k3 >/home/username/output/result2.txt后者的输出列表是：
2013-05-02 10:06:28
1105
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人