Hadoop单节点安装整理

1、用户创建(免登陆)

# 创建指定好GID和UID的用户
groupadd -g 900 hadoop  
useradd -g 900 -u 900 hadoop
su hadoop && cd ~
ssh-keygen -t rsa # 一直回车,创建免密公钥
cd ~/.ssh && cat id_rsa.pub >> authorized_keys # 创建并设置公钥到认证文件
chmod 600 authorized_keys # 检查认证文件权限
ssh hadoop@localhost # 验证免密登陆

2、下载Hadoop包并设置好相关目录

解压到/data目录，并创建好namenode和datanode文件夹

mkdir -p /data/hadoop/data/{datanode,namenode}

3、设置环境变量

hadoop-env.sh

# 指定Java程序
export JAVA_HOME=/usr/local/java/ 
# 如果修改默认SSH端口，设置SSH远程端口
export HADOOP_SSH_OPTS="-p 22220"

4、修改相关配置文件(/data/hadoop/etc/hadoop)

core-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/hadoop/data/namenode/</value>
  </property>
  <property>
    <name>dfs.datanode.name.dir</name>
    <value>file:/data/hadoop/data/datanode/</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5、启动

 /data/hadoop-2.8.5/bin/hadoop namenode -format
 /data/hadoop-2.8.5/sbin/start-all.sh 

6、进入 http://localhost:8088查看相关信息

7、hadoop自带wordcount测试

测试Hadoop包下的LICENSE文档

# 创建一个input文件夹
/data/hadoop/bin/hadoop dfs -mkdir /input

# 上传LICENSE文档
/data/hadoop/bin/hadoop dfs -put LICENSE /input

# 运行MapReduce
cd /data/hadoop/share/hadoop/mapreduce
/data/hadoop/bin/hadoop jar hadoop-mapreduce-examples.jar wordcount /input /output

# 查看output下的结果。ls 查看文件夹， cat 查看文件内容
/data/hadoop/bin/hadoop dfs -ls /output