Centos7安装Hadoop3.3.1(单机版本)

前提：需要安装好JDK，需要配置ssh免密(可参考问题2的设置)

1、下载Hadoop

打开Hadoop下载地址，下载3.3.1版本

下载：wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz 

2、Hadoop安装

配置域名vin /etc/hosts

例如：10.1.1.196  hadoop001

重启系统(重启生效)

2.1、解压缩和移动到/usr/local目录

tar -zxvf hadoop-3.3.1.tar.gz

2.2、执行如下命令，在 /data 目录下创建hadoop数据存储的目录

mkdir -p /home/hadoop/hdfs/tmp /home/hadoop/hdfs/data /home/hadoop/hdfs/name

2.3、配置环境变量vim /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-3.3.1 export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

配置后，加载环境变量

2.4、修改hadoop的hadoop-env.sh配置

修改${hadoop_home}/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME和HADOOP_HOME变量

设置为root用户

 

所有的用户配置：

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

2.5、配置core-site.xml

${hadoop_home}/etc/hadoop/core-site.xml

如下，两个位置分别为虚拟机主机名和上述步骤中创建的 tmp目录

<configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop001:9000</value> </property> <!-- 指定 hadoop 数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hdfs/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> </configuration>

 

2.6、修改hdfs-site.xml

${hadoop_home}/etc/hadoop/hdfs-site.xml

<configuration> <property> <name>dfs.replication</name>   <value>1</value> <description>副本个数，配置默认是3,应小于datanode机器数量</description> </property>   <property> <name>dfs.namenode.name.dir</name>   <value>/home/hadoop/hdfs/name</value>   <final>true</final> </property>   <property> <name>dfs.datanode.data.dir</name>   <value>/home/hadoop/hdfs/data</value>   <final>true</final> </property>   <property> <name>dfs.http.address</name> <value>0.0.0.0:50070</value> <description>将绑定IP改为0.0.0.0，而不是本地回环IP，这样，就能够实现外网访问本机的50070端口了</description> </property> <property> <name>dfs.permissions</name>   <value>false</value> </property> </configuration>

 2.7、修改：mapre-site.xml

${hadoop_home}/etc/hadoop/mapre-site.xml

<configuration>         <property>                 <name>mapreduce.framework.name</name>                 <value>yarn</value>         </property> </configuration>

2.8、修改yarn-site.xml

${hadoop_home}/etc/hadoop/yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties -->         <property>                 <name>yarn.nodemanager.aux-services</name>                 <value>mapreduce_shuffle</value>         </property> </configuration>

3、启动HDFS

首先执行如下命令格式化hdfs

$hdfs namenode -format

依次执行命令

$hadoop-daemon.sh start namenode $hadoop-daemon.sh start datanode $hadoop-daemon.sh start secondarynamenode

 

或者sbin目录下，执行./start-all.sh

查询端口：

 停止服务和启动服务：

sbin/stop-all.sh

Sbin/start-all.sh

4、访问

浏览器访问http://10.1.1.196:50070/ ，如下，表示单机版已经安装OK

 

 参考：https://blog.csdn.net/redrose2100/article/details/117922189

问题列表：

问题1：start-dfs.sh命令执行时，报错(需要配置ssh免密)

hadoop001: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

原因：hadoop001这台机器没有配置ssh免密登录

解决办法：

配置ssh免密登录: 1、先进入到~/.ssh/路径 cd ~/.ssh/ 2、创建公钥/私钥 ssh-keygen -t rsa 按三下Enter键即可 3、复制公钥id到hadoop001 ssh-copy-id hadoop001 4、查看能否免密登录成功 ssh hadoop001 出现以下信息，免密登录

其他参考：start-all.sh或stop-all.sh命令执行时，报错

ERROR: Attempting to operate on yarn resourcemanager as root

ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.

 出现以上报错信息需要到 sbin 目录下 更改 start-yarn.sh 和 stop-yarn.sh 信息，在两个配置文件的第一行添加

YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root