1、配置环境
1.1、软件包
sun jdk 或 openjdk: 1.7
1.2、安装必须软件包:
# yum install ssh rsync
# rpm -ivh jdk-7u79-linux-x64.rpm
1.3、配置java环境
# vim /etc/profile
export JAVA_HOME=/usr/java/latest
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
# vim hadoop_home/etc/hadoop/hadoop_env.sh
export JAVA_HOME=/usr/java/latest
或者
export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64
2、单节点配置文件配置
# vim hadoop_home/etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
# vim hadoop_home/etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
3、设置ssh免密登陆
# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
# chmod 0600 ~/.ssh/authorized_keys
4、测试环境
4.1、格式化文件系统
# hadoop_home/bin/hdfs namenode -format
4.2、开启NameNode和DataNode服务
# hadoop_home/sbin/start-dfs.sh
4.3、浏览NameNode的web接口
4.4、MapReduce工作执行的目录
# hadoop_home/bin/hdfs dfs -mkdir /user
# hadoop_home/bin/hdfs dfs -mkdir /user/<username> 这里的<username>为你执行MapReduce的系统用户
4.5、拷贝input文件倒目标文件系统
# hadoop_home/bin/hdfs dfs -put etc/hadoop input
4.6、运行系统提供的默认demo
# hadoop_home/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
4.7、将目标系统的output文件拷贝到本地
# hadoop_home/bin/hdfs dfs -get output output
4.8、查看执行结果
# cat hadoop_home/output/*
4.9、查看目标文件系统output结果
# hadoop_home/bin/hdfs dfs -cat output/*
至此,单节点hadoop环境就已经配置并测试通过了。
转载于:https://blog.51cto.com/evan2008/1889175