文章标题

deflate 文件 hadoop fs -text file.deflate > your file directory

2015-10-21 13:40:03

阅读数:182

评论数:0

MapReduce类型与格式

MapReduce类型 map:(k1,v1)->(k2,v2) reduce(k2,list(v2))->list(k3,v3) public interface Mapper extends JobConfigurable,Closeable{  void map(K1 key...

2015-05-08 13:31:38

阅读数:326

评论数:0

HIVE使用小计

join 中MR顺序Hive总是按照从左到右的顺序执行表的连接,同时假定最后一个表是最大的那个表,并尝试缓存前边的表。

2015-05-08 13:22:19

阅读数:255

评论数:0

MR小记

小文件问题CombineFileInputFormat子类CombineTextInputFormat,可以减少map数,但是不能本地化,因此内存资源充足的情况下,CombineFileInputFormat减少map数,不一定会增加MR性能。压缩问题采用压缩文件,需要考虑压缩后文件的大小与hdf...

2015-05-08 12:28:09

阅读数:259

评论数:0

ubuntu10.10 eclipse编译hadoop1.0.X

参照http://wiki.apache.org/hadoop/EclipseEnvironment eclipse、git、maven下载略 $ mvn install -DskipTests $ mvn eclipse:eclipse -DdownloadSources=true -D...

2012-07-01 10:55:25

阅读数:1007

评论数:0

hadoop 问题 copyFromLocal: java.io.FileNotFoundException: Parent path is not a directory: /user/admini

----配置----- dfs.name.dir /home/administrator/hadoop/hdfs/name     dfs.data.dir   /home/administrator/hadoop/hdfs/data   ---与这个配置估计有关系,貌似...

2012-06-18 23:10:25

阅读数:3848

评论数:0

hadoop 问题

-----------配置------------------- hadoop -jar job.jar -conf hadoop-localhost.xml input/ tmp fs.default.name hdfs://localhost/   mapred...

2012-06-18 23:08:11

阅读数:818

评论数:0

默默耕耘2 hadoop

namenode没有启动log报错 Directory /tmp/hadoop-administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. ...

2012-04-20 21:38:46

阅读数:175

评论数:0

默默耕耘1 hadoop

hadoop in action  ubuntu 下ssh localhost connect to host localhost port 22:Connection refused which sshd找不到 没有server 安装 sudo apt-get install opens...

2012-04-19 21:43:24

阅读数:154

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭