Ubuntu16.04下hadoop2.9.2安装配置

软件	型号
VMware	15pro
Ubuntu	16.04LTS
hadoop	2.9.2
jdk	1.8.0

1、创建hadoop用户

使用sudo useradd -m hadoop -s /bin/bash命令创建hadoop用户，设置密码，增加管理员权限，更新apt

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
sudo apt-get update

2、ssh安装配置

首先要使用sudo apt-get install openssh-server命令

sudo apt-get install openssh-server
sh localhost
exit
cd ~/.ssh/
shh-keygen -g rsa

输入ssh localhost，登录ssh，第一次登录要输入yes
然后退出exit，设置ssh无密码登录，就要进入~/.ssh/目录，然后输入 ssh-keygen -t rsa，敲击三次回车，显示如下图像即成功

然后输入cat ./id_rsa.pub >> ./authorized_keys 加入无密登录授权，然后再输入ssh localhost，显示如下图像即成功

cat ./id_rsa.pub >> ./authorized_keys
ssh localhost

2、 java环境安装配置

先在官网.下载jdk安装包，然后进入下载的压缩包路径，解压到/usr/local目录下，进入这个目录，将文件更名为java，然后进入.bashrc文件添加：

cd ~/下载
sudo tar -xzf jdk-8u241-linux-x64.tar.gz -C /usr/local
cd /usr/local
sudo mv jdk1.8.0_241/ java
vim ~/.bashrc
source ~/.bashrc
java -version

然后进入.bashrc文件添加：

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使用source ~/.bashrc让环境变量生效，使用java-version检查是否配置完成

3、hadoop安装配置（单机）

hadoop 官网.下载。Hadoop 环境安装配置是和java步骤一样的，只是将jdk的压缩包名换为hadoop的压缩包名，而且将解压后的文件名改为hadoop，

 sudo tar -xzf hadoop-2.9.2.tar.gz -C /usr/local
 cd /usr/local
 sudo mv hadoop-2.9.2/ hadoop
 sudo chown -R hadoop ./hadoop 
 cd /usr/local/hadoop
 hadoop version

然后在.bashrc文件中插入：

#export HADOOP_HOME=/usr/local/hadoop
#export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行source ~/.bashrc命令，安装完成

Hadoop单机配置
进入解压的hadoop目录，创建一个input文件，运行 cp ./etc/hadoop/*.xml ./input命令将这个文件拷贝到input里面

cd /usr/local/hadoop
mkdir ./input
 cp ./etc/hadoop/*.xml ./input

运行cat ./output/*命令查看结果

cat ./output/*

实例完成后要删除结果文件，不然下次进行实例演示时会出错

rm -r ./output

1、hadoop伪分布式配置

进入/usr/local/hadoop目录

gedit ./etc/hadoop/hdfs-site.xml
gedit ./etc/hadoop/core-site.xml
./bin/hdfs namenode -format

将hdfs-site.xml文件中的改为：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

将core-site.xml文件中的改为：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

运行 ./bin/hdfs namenode -format 命令，实现namenode的格式化

 ./bin/hdfs namenode -format

再运行./sbin/start-dfs.sh来开启namenode和datanode，开启后使用jps查看是否开启成功

./sbin/start-dfs.sh
jps

可以访问web界面http://localhost:50070/dfshealth.html#tab-overview查看Namenode 和datanode信息

运行hadoop伪分布式实例：
使用./bin/hdfs dfs -mkdir -p /user/hadoop命令在HDFS中创建用户目录，然后将hadoop中的xml文件作为输入文件复制到hadoop下的input中，然后查看文件列表

./bin/hdfs dfs -mkdir -p /usr/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
./bin/hdfs dfs -ls input

然后伪分布式运行MapReduce，查看位于hdfs的输出结果，再将运行结果加载到本地

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-example-*.jar grep input output 'dfs[a-z.]+'
./bin/hdfs dfs -get output ./output
cat ./output/*

删除output文件，关闭hadoop

./bin/hdfs dfs -rm -r output
./sbin/stop-dfs.sh

2、yarn配置

进入/usr/local/hadoop目录，修改mapred-site.xml文件,yarn-site.xml文件
运行./sbin/start-yarn.sh命令启动yarn，然后运行jps查看后台进程,在浏览器
http://localhost:8088/cluster查看资源管理器

gedit etc/hadoop/mapred-site.xml
gedit etc/hadoop/yarn-site.xml
./sbin/start-yarn.sh
./sbin/mr-jobhistory-daemon.sh start historyserver
jps

修改mapred-site.xml文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml文件

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

关闭yarn

./bin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

遇到的问题及解决办法

我配置完jdk后，就关闭了虚拟机，最后打开虚拟机进入hadoop用户，没有找到jdk，所以我又重新配置了一遍。所以在当前用户创建完hadoop用户后，要切换到hadoop用户进行jdk和hadoop的安装配置。
进入hadoop用户后发现Firefox浏览器打不开了，提示错误：“Your Firefox profile cannot be loaded.It may be missing or inaccessible”，百度发现是权限问题，使用ls -la查看文件权限，要将.mozilla文件的读取权限修改，sudo chown 777 hadoop:hadoop ./mozilla。并且要将.mozilla和.cache文件的root用户权限改为hadoop用户权限。（具体的我也没截图）这是更改之后的图

参考博客：
链接: https://www.cnblogs.com/sench/p/8542175.html.
链接: http://dblab.xmu.edu.cn/blog/install-hadoop/.