关闭

文章标题

deflate 文件 hadoop fs -text file.deflate > your file directory...
阅读(171) 评论(0)

MapReduce类型与格式

MapReduce类型 map:(k1,v1)->(k2,v2) reduce(k2,list(v2))->list(k3,v3) public interface Mapper extends JobConfigurable,Closeable{  void map(K1 key,V1 value,OutputCollector output,Reporter reporter)...
阅读(251) 评论(0)

HIVE使用小计

join 中MR顺序Hive总是按照从左到右的顺序执行表的连接,同时假定最后一个表是最大的那个表,并尝试缓存前边的表。...
阅读(229) 评论(0)

MR小记

小文件问题CombineFileInputFormat子类CombineTextInputFormat,可以减少map数,但是不能本地化,因此内存资源充足的情况下,CombineFileInputFormat减少map数,不一定会增加MR性能。压缩问题采用压缩文件,需要考虑压缩后文件的大小与hdfs块大小的关系,因为有些压缩算法本身是不可分的,如果压缩后文件是多块的,会造成map不能本地化。 压缩...
阅读(235) 评论(0)

ubuntu10.10 eclipse编译hadoop1.0.X

参照http://wiki.apache.org/hadoop/EclipseEnvironment eclipse、git、maven下载略 $ mvn install -DskipTests $ mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true 1、报错 *********** [INFO]...
阅读(985) 评论(0)

hadoop 问题 copyFromLocal: java.io.FileNotFoundException: Parent path is not a directory: /user/admini

----配置----- dfs.name.dir /home/administrator/hadoop/hdfs/name     dfs.data.dir   /home/administrator/hadoop/hdfs/data   ---与这个配置估计有关系,貌似是目录问题--- - ------------命令---------- hadoop fs -co...
阅读(3484) 评论(0)

hadoop 问题

-----------配置------------------- hadoop -jar job.jar -conf hadoop-localhost.xml input/ tmp fs.default.name hdfs://localhost/   mapred.job.tracker localhost:8021 -------------...
阅读(796) 评论(0)

默默耕耘2 hadoop

namenode没有启动log报错 Directory /tmp/hadoop-administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible. ubuntu tmp目录问题 在hdfs-site.xml中添加,新建hadoop目录 dfs...
阅读(157) 评论(0)

默默耕耘1 hadoop

hadoop in action  ubuntu 下ssh localhost connect to host localhost port 22:Connection refused which sshd找不到 没有server 安装 sudo apt-get install openssh-server ssh localhost 成功...
阅读(147) 评论(0)
    个人资料
    • 访问:10734次
    • 积分:242
    • 等级:
    • 排名:千里之外
    • 原创:14篇
    • 转载:1篇
    • 译文:0篇
    • 评论:0条
    文章分类