![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Yuzhiyuxia
这个作者很懒,什么都没留下…
展开
-
基于Eclipse的Hadoop应用开发环境配置
我的开发环境:操作系统centos5.5 一个namenode 两个datanodeHadoop版本:hadoop-0.20.203.0Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.gz(使用3.7的版本总是崩溃,让人郁闷)第一步:先启动hadoop守护进程具体参看:http://www.cnblogs.com/flyoung2转载 2014-02-26 21:16:44 · 986 阅读 · 0 评论 -
Ubuntu 编译安装 hadoop 2.2.0
编译环境OS: Ubuntu 12.04 64-bithadoop version: 2.2.0Java: Jdk1.7.0_45java环境配置空白的电脑,什么都没有啊下载 jdk : http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htm转载 2014-02-21 13:56:44 · 2566 阅读 · 0 评论 -
Hadoop 參數設定 – core-site.xml
Hadoop 相關的參數非常的多,要怎麼設定才能達到最好的效能是一件令人頭痛的事本篇是 core-site.xml 的設定及說明fs.default.name預設值 : file:///說明 : 設定 Hadoop namenode 的 hostname 及 port,預設是 Standalone mode,如果是 Pseudo-Distributed mode 要指定為转载 2014-02-26 21:20:13 · 4298 阅读 · 0 评论 -
Hadoop 參數設定 – mapred-site.xml
JobTrackermapred.job.tracker預設值 : local說明 : 設定 jobtracker 的 hostname 及 port。預設是 local,表示所有的 job 會用 local job runner 來執行,而且只有一個 mapper 及一個 reducer。在這個設定下,如果要啟動 jobtracker service 反而會出錯。一般常看到的設定转载 2014-02-26 21:21:32 · 4317 阅读 · 0 评论 -
Hadoop 參數設定 – hdfs-site.xml
NameNodedfs.name.dir預設值 : ${hadoop.tmp.dir}/dfs/name說明 : 指定本機上存取 fsimage 及 editlog 的目錄,這個目錄非常的重要,如果損毀就無法存取 HDFS 的資料了,所以不建議放在 ${hadoop.tmp.dir} 目錄下。更好的做法是用 “," 指定多個目錄,Hadoop 會複製 fsimage 的資料到所有的转载 2014-02-26 21:20:56 · 3524 阅读 · 0 评论 -
Hadoop开发常用的InputFormat和OutputFormat
在用hadoop的streaming读数据时,如果输入是sequence file,如果用“-inputformat org.apache.hadoop.mapred.SequenceFileInputFormat”配置读的话,读入的数据显示的话为乱码,其实是因为读入的还是sequence file格式的,包括sequencefile的头信息在内.改为“inputformat org.apache转载 2015-03-23 14:46:16 · 743 阅读 · 0 评论