- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 使用hadoop MapReduce进行排序
<br /><br /> 在hadoop中的例子TeraSort，就是一个利用mapredue进行排序的例子。本文参考并简化了这个例子：<br /> 排序的基本思想是利用了mapreduce的自动排序功能，在hadoop中，从map到reduce阶段，map出来的结构会按照各个key按照hash值分配到各个reduce中，其中，在reduce中所有的key都是有序的了。如果使用一个reduce，那么我们直接将他output出来就行了，但是这不能够体现分布式的好处，所以，我们还是要用多个reduc
2010-09-30 09:45:00
11602
原创 使用ant编译hive
<br /><br />使用ant编译hive<br />需要的工具：ant 具体安装，请自己在网上查找<br />1.使用svn检出hive的源代码：<br /> svn地址：http://svn.apache.org/repos/asf/hadoop/hive/trunk<br /> 可参考：http://wiki.apache.org/hadoop/Hive/GettingStarted<br /> <br />2.直接使用ant命令的时候，程序会去网上下载hadoop
2010-09-30 09:42:00
6177
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人