本机环境: centOS
一、安装jdk
Jdk版本:jdk-6u30-linux-amd64.rpm
1.安装命令:rpm –ivh jdk-6u30-linux-amd64.rpm
2.在etc/profile里面添加声明如下:
export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
3.退出后,source /etc/profile使得配置生效
二、安装hadoop
hadoop版本:hadoop-1.0.3-1.x86_64.rpm
1.安装命令:rpm –ivh hadoop-1.0.3-1.x86_64.rpm
2.在etc/hadoop文件夹下
对以下几个文件进行设置
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
三、设置SSH
ssh-keygen –t dsa –P ‘’ –f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
四、启动hadoop
hadoop namenode –format
start-all.sh
此时通过浏览器即可浏览到namenode和jobtracker
五、测试
将两个本地的文件拷贝到hdfs上,调用hadoop示例程序wordcount对其进行单词统计。
echo “hello,hadoop” >file02
hadoop fs –mkdir input
hadoop fs –copyFromLocal /home/hao/file0* input
hadoop jar /usr/share/hadoop/hadoop-examples-1.0.3.jar wordcount input output
hadoop fs –cat user/root/output/part-r-00000
出现问题及解决方法:
1.jdk及hadoop的安装必须与本机环境相适应,比如,本机为centOS,则安装软件必须选择rpm格式,为与本机及服务器相兼容,jdk必须选择64位或者x86_64
2.安装完毕后,在 etc/profile里面设置JAVA_HOME最好设置为usr/java/default,这是一个symbol link,可以避免因JAVA环境变量变化而引起的错误。
3.安装完毕后在/etc/hadoop里面设置hadoop-site.xml等文件
4.以上步骤都完成后,将本地文件拷贝至HDFS上,此时应使用 hadoop fs –lsr / 来查看hdfs的文件夹内容,以确定不会读错文件。