hadoop
是夜色太荒芜
编程中最没用的东西是源代码,最有用的东西是算法和数据结构
展开
-
hadoop实战学习之用MapReduce简单对整形数据进行全局排序
参照:http://blog.csdn.net/yeruby/article/details/21233661 http://segmentfault.com/q/1010000000758178 虽然MapReduce过程就有排序,但是他得排序只是针对某个节点上某个reduce任务,可是一个JobTracker任务有N个reduce任务,并不能保证全局顺序的正确性。 (1)如果reduce原创 2015-02-27 17:26:45 · 783 阅读 · 0 评论 -
Hdoop实战学习之单表关联程序分析
package com.hadoop.tablerelation; import java.io.IOException; import java.util.Iterator; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Te原创 2015-02-28 13:08:14 · 804 阅读 · 0 评论 -
hadoop指令
hadoop fs -ls [path] 列目录信息,包括文件名、权限、拥有者、大小以及修改时间 hadoop fs -lsr [path] 与-ls类似,同时还要列出子目录中得内容 hadoop -du [path] 输出指定目录包含的每一个文件的磁盘的使用情况(每个文件,单位为字节数) hadoop -du -s [path] 输出某一个目录磁盘的使用情况 hadoop -mv原创 2015-03-03 12:50:36 · 634 阅读 · 0 评论 -
Hadoop2.x与Zookeeper安装
Hadoop2经典分布式部署模式 基于QJN的HA模式的分布式部署,不含Federation模块的实践是一个经典的Hadoop2的高可用的分布式部署模式。 1.准备测试环境 准备4台PC服务器做Hadoop2部署 ip | hostname|namenode|fc|datanode|rm|nodemanage|QJN 10.71.84.237 hadoop201 Y Y Y Y Y Y原创 2015-05-21 12:47:28 · 1291 阅读 · 0 评论