Hadoop安装

Hadoop安装

需要先安装JDK 通过环境变量查看jdk位置：echo $JAVA_HOME
修改环境变量：vim /etc/profile
环境变量生效：source /etc/profile

下载Hadoop：
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

修改配置文件:

vim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

vim /root/software/hadoop-2.7.7/etc/hadoop/core-site.xml

fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir /root/hadoopData/temp

vim /root/software/hadoop-2.7.7/etc/hadoop/hdfs-site.xml

dfs.namenode.name.dir /root/hadoopData/name dfs.datanode.data.dir /root/hadoopData/data dfs.replication 1

vim /root/software/hadoop-2.7.7/etc/hadoop/slaves
单台默认为localhost,无需修改

修改配置Hadoop 系统环境变量：
vim /etc/profile

配置Hadoop的安装目录

export HADOOP_HOME=/root/software/hadoop-2.7.7

在原PATH的基础上加入Hadoop的bin和sbin目录

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

让配置文件立即生效：source /etc/profile
检测 Hadoop 环境变量是否设置成功：hadoop version

HDFS 集群测试
hdfs namenode -format

启动 HDFS 集群: start-dfs.sh
关闭 HDFS 集群: stop-dfs.sh
默认端口: http://localhost:50070

出现这 4 个进程表示进程启动成功:

YARN 集群配置：
vim /usr/local/hadoop-2.9.2/etc/hadoop/yarn-env.sh

配置计算框架 mapred-site.xml：

mapreduce.framework.name yarn

配置 YARN 系统 yarn-site.xml：

vim yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle

脚本一键启动和关闭:
首先保证 HDFS 集群处于启动状态
启动 yarn集群: start-yarn.sh
关闭 yarn集群: stop-yarn.sh
默认端口: http://localhost:8088

全部启动/关闭：start-all.sh / stop-all.sh

集群搭建

修改主机名:
vim /etc/hostname

配置hosts:
vi /etc/hosts
192.168.102.135 master
192.168.102.136 slave1

使hosts生效：/bin/hostname hostsname

关闭防火墙：
查看防火墙状态
firewall-cmd --state
停止firewall
systemctl stop firewalld.service
禁止firewall开机启动
systemctl disable firewalld.service

时间同步：
yum更新源：yum update
下载ntp插件：yum install ntp
ntpdate -u ntp1.aliyun.com
date

Master与slave安装配置ssh:
安装SSH: yum -y install openssh-server
生成一个无密码密钥对: ssh-keygen -t rsa
id_rsa.pub(公钥)追加到授权的key里面：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
修改.ssh目录下authorized_keys文件权限: chmod 600 authorized_keys
修改SSH配置文件"/etc/ssh/sshd_config"的下列内容：
RSAAuthentication yes # 启用 RSA 认证
PubkeyAuthentication yes # 启用公钥私钥配对认证方式
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

重启SSH服务： service sshd restart
将公钥传送到远程主机上： ssh-copy-id root@xxx.xxx.xxx.xxx
测试是否无密码登录其它机器成功: ssh xxx.xxx.xxx.xxx

断开ssh连接: CTRL+D 或 logout

配置集群节点地址：
vi /usr/local/hadoop-2.9.2/etc/hadoop/slaves

将Master中配置好的hadoop传入Slave中:
scp -r /usr/local/hadoop-2.9.2/ root@47.95.216.255:/usr/local/

修改Master主机上的workers文件:
vi /usr/local/hadoop-2.9.2/etc/hadoop/workers
47.95.216.255 # slave-ip

master节点格式化HDFS文件系统:
hdfs namenode -format

查看集群状态:
主节点刷新：hdfs dfsadmin -refreshNodes
负载均衡：sbin/start-balancer.sh
查看存活节点：hdfs dfsadmin -report

集群添加删除
添加：
修改所有slaves文件：添加slave3
启动DataNode进程：hadoop-daemon.sh start datanode
启动nodemanage：yarn-daemon.sh start nodemanager
删除：
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop tasktracker