学习笔记之hadoop部署

hadoop部署

本次安装的为hadoop3.1.3 可能与其他版本有不同的地方

1、先检查已有虚拟机的防火墙状态

systemctl status firewalld
systemctl stop firewalld  -- 关闭防火墙
systemctl disable firewalld -- 关闭防火墙开机自启

2、查看虚拟机中的java配置

使用自己安装的java 不要使用linux自带的
echo $JAVA_HOME  =>/usr/local/soft/jdk1.8.0_171     -- 查看java环境变量
java-version => java version "1.8.0_171"
两个结果要一致

3、虚拟机资源配置

master节点要求资源配置多一点
master： 内存 3G  处理器 数量1 内核 2  硬盘 > 35G 
node:   内存 2G  处理器 数量1 内核1  硬盘 > 35G 

4、关闭虚拟机图形化界面
非必要，关闭了可以节省资源

systemctl set-default multi-user.target
reboot

5、克隆节点

关闭master
开始克隆 node1 node2
要求磁盘容量大于60-70G

6、配置node1 node2 节点

修改IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
node1 : ****.110
node2 : ****.120
systemctl restart network

修改主机名
两台克隆出来的虚拟机分别修改为node1和node2
vim /etc/hostname
reboot

7、校验时间是否同步

date
yum install ntp
ntpdata time.windows.com

8、配置hosts映射

vim /etc/hosts
****.110 node1
****.120 node2

9、设置免密登录

在master下执行如下命令
ssh-keygen -t rsa
ssh-copy-id master
ssh-copy-id node1
ssh-copy-id node2
验证：ssh node1

正式安装hadoop

1、上传hadoop安装包并解压

tar -zxvf hadoop-3.1.3.tar.gz

2、进入hadoop中的etc/hadoop修改配置文件

core-site.xml

fs.defaultFS hdfs://master:9000 hadoop.tmp.dir /usr/local/soft/hadoop-3.1.3/data

hdfs-site.xml

dfs.namenode.http-address master:50070 dfs.namenode.secondary.http-address master:9868

yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname master yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME yarn.scheduler.minimum-allocation-mb 512 yarn.scheduler.maximum-allocation-mb 4096 yarn.nodemanager.resource.memory-mb 4096 yarn.nodemanager.pmem-check-enabled false yarn.nodemanager.vmem-check-enabled false

mapred-site.xml

mapreduce.framework.name yarn

workers
添加 node1 node2

start-dfs.sh stop-dfs.sh
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

vim hadoop-env.sh

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

3、修改环境变量

vim /etc/profile
HADOOP_HOME=/usr/local/soft/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

scoure /etc/profile

4、将配置好的hadoop分发到其他节点

cd /usr/local/soft
scp -r hadoop-3.1.3 node1:/usr/local/soft/hadoop-3.1.3
scp -r hadoop-3.1.3 node2:/usr/local/soft/hadoop-3.1.3

5、格式化

hdfs namenode -format

6、启动Hadoop

stall-all.sh
验证： master:50070