hadoop
luorisheng
这个作者很懒,什么都没留下…
展开
-
默默耕耘1 hadoop
hadoop in action ubuntu 下ssh localhost connect to host localhost port 22:Connection refusedwhich sshd找不到 没有server安装sudo apt-get install openssh-serverssh localhost 成功原创 2012-04-19 21:43:24 · 266 阅读 · 0 评论 -
HIVE使用小计
join 中MR顺序Hive总是按照从左到右的顺序执行表的连接,同时假定最后一个表是最大的那个表,并尝试缓存前边的表。原创 2015-05-08 13:22:19 · 524 阅读 · 0 评论 -
MapReduce类型与格式
MapReduce类型map:(k1,v1)->(k2,v2)reduce(k2,list(v2))->list(k3,v3)public interface Mapper extends JobConfigurable,Closeable{ void map(K1 key,V1 value,OutputCollector output,Reporter reporter)原创 2015-05-08 13:31:38 · 558 阅读 · 0 评论 -
MR小记
小文件问题CombineFileInputFormat子类CombineTextInputFormat,可以减少map数,但是不能本地化,因此内存资源充足的情况下,CombineFileInputFormat减少map数,不一定会增加MR性能。压缩问题采用压缩文件,需要考虑压缩后文件的大小与hdfs块大小的关系,因为有些压缩算法本身是不可分的,如果压缩后文件是多块的,会造成map不能本地化。 压缩原创 2015-05-08 12:28:09 · 346 阅读 · 0 评论 -
ubuntu10.10 eclipse编译hadoop1.0.X
参照http://wiki.apache.org/hadoop/EclipseEnvironmenteclipse、git、maven下载略$ mvn install -DskipTests$ mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true1、报错***********[INFO]原创 2012-07-01 10:55:25 · 1133 阅读 · 0 评论 -
hadoop 问题 copyFromLocal: java.io.FileNotFoundException: Parent path is not a directory: /user/admini
----配置-----dfs.name.dir/home/administrator/hadoop/hdfs/name dfs.data.dir /home/administrator/hadoop/hdfs/data ---与这个配置估计有关系,貌似是目录问题--- -------------命令----------hadoop fs -co原创 2012-06-18 23:10:25 · 5371 阅读 · 0 评论 -
hadoop 问题
-----------配置-------------------hadoop -jar job.jar -conf hadoop-localhost.xml input/ tmpfs.default.namehdfs://localhost/ mapred.job.trackerlocalhost:8021-------------原创 2012-06-18 23:08:11 · 1015 阅读 · 0 评论 -
默默耕耘2 hadoop
namenode没有启动log报错Directory /tmp/hadoop-administrator/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.ubuntu tmp目录问题在hdfs-site.xml中添加,新建hadoop目录dfs原创 2012-04-20 21:38:46 · 292 阅读 · 0 评论 -
文章标题
deflate 文件 hadoop fs -text file.deflate > your file directory原创 2015-10-21 13:40:03 · 308 阅读 · 0 评论