文章目录
一、配置IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=“dbcp” 修改为 BOOTPROTO=“static”
IPADDR="192.168.187.128"
NETMASK="255.255.255.0"
GATEWAY="192.168.187.2"
DNS1="114.114.114.114"
DNS2="8.8.8.8"
systemctl restart network #重启网卡
二、配置主机名
vi /etc/hostname
三、配置主机映射
vi /etc/hosts
修改完重启一下:reboot
四、关闭防火墙
systemctl stop firewalld
五、配置免密
ssh-keygen -t rsa #生成公钥和私钥
ssh-copy-id node01 #将公钥传递给你想免密登录的电脑,比如node01,也可以传给自己
六、安装jdk
1、第一步:
mkdir -p /opt/modules --以后存放安装包
mkdir -p /opt/installs --以后存放解压后的软件
2、第二步:
tar -zxvf jdk-8u321-linux-x64.tar.gz -C /opt/installs //解压
进入文件夹 cd /opt/installs
进行重命名 mv jdk1.8.0_171 jdk
3、第三步:
vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export PATH=$PATH:$JAVA_HOME/bin
在文件的最后追加,不要删除别人的任何配置。
4、第四步:
source /etc/profile
5、第五步:
java -version
七、安装hadoop
1、上传
2、解压
tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/
3、重命名
cd /opt/installs/
mv hadoop-3.3.1 hadoop
4、开始配置环境变量
vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export HADOOP_HOME=/opt/installs/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5、刷新配置文件
source /etc/profile
6、验证hadoop命令是否可以识别
hadoop version
八、全分布搭建
环境准备⼯作:
1、安装了jdk
2、设置host映射
3、免密登录
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled
7、修改配置文件core-site.xml
路径:/opt/installs/hadoop/etc/hadoop/core-site.xml
<configuration>
<!--hdfs的配置-->
<!-- 设置namenode节点 -->
<!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9820</value>
</property>
<!-- hdfs的基础路径,被其他属性所依赖的⼀个基础路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/installs/hadoop/tmp</value>
</property>
</configuration>
8、修改配置文件hdfs-site.xml
路径:/opt/installs/hadoop/etc/hadoop/hdfs-site.xml
<configuration>
<!--hdfs的配置-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--secondarynamenode守护进程的http地址:主机名和端⼝号。参考守护进程布局 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node02:9868</value>
</property>
<!-- namenode守护进程的http地址:主机名和端⼝号。参考守护进程布局 -->
<property>
<name>dfs.namenode.http-address</name>
<value>node01:9870</value>
</property>
</configuration>
9、修改配置文件hadoop-env.sh
路径:/opt/installs/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/installs/jdk
<-- Hadoop3中,需要添加如下配置,设置启动集群⻆⾊的⽤户是谁-->
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
10、修改配置文件workers
路径:/opt/installs/hadoop/etc/hadoop/workers
node01
node02
node03
11、修改完了第一台的配置文件,开始分发到其他两台上去。
xsync.sh /opt/installs/hadoop
12、拷贝环境变量:
xsync.sh /etc/profile
刷新环境变量
source /etc/profile
13、在主节点 格式化namenode
hdfs namenode -format
14、只在第一台启动hdfs
start-dfs.sh
九、启动后的jps进程:
节点进程:
node01
NameNode,DataNode
node02
SecondaryNameNode,DataNode
node03
DataNode