CentOS7+Hadoop2.7配置流程(非安装教程)
文章目录
(可选)时间同步
因为我们是虚拟机克隆,故省略这一步
yum install ntp
systemctl start ntpd
systemctl enable ntpd
配置主机名
#直接永久生效
hostnamectl set-hostname master
固定静态IP,和网络映射
默认是DHCP,即动态分配IP。DHCP在群文件中一个word有介绍。我们需要变成静态IP,即调为static。
NAT8模式下。
添加`/etc/syconfig/network-scripts/ifcfg-ens33`网卡配置文件
NETMASK:指定子网掩码(默认255.255.255.0)
GETWAY:网关 去VMware菜单栏编辑--》虚拟网络编辑器--》选择 “VMnet8 NAT 模式”--》点击下方“NAT设置”按钮,弹出NAT设置窗口查看网关IP
DNS1:指定上网用的DNS IP地址,114.114.114.114
ifconfig
命令中ens**,是我们要看的网卡。
ifconfig
第一步:cd /etc/sysconfig/network-scripts
第二步:vim ifcfg-ens33
1 TYPE="Ethernet"
2 PROXY_METHOD="none"
3 BROWSER_ONLY="no"
4 BOOTPROTO="static" -------> 默认是DHCP,修改为static
5 DEFROUTE="yes"
6 IPV4_FAILURE_FATAL="no"
7 IPV6INIT="yes"
8 IPV6_AUTOCONF="yes"
9 IPV6_DEFROUTE="yes"
10 IPV6_FAILURE_FATAL="no"
11 IPV6_ADDR_GEN_MODE="stable-privacy"
12 NAME="ens33"
13 UUID="db2a7b20-7b5a-40ad-9879-f7543bbc5ffe"
14 DEVICE="ens33"
15 ONBOOT="yes"
16 IPV6_PRIVACY="no"
17 ZONE=public
18 IPADDR=192.168.175.134 ----------> 设置静态ip地址
19 NETMASK=255.255.255.0 ------> 子网掩码
20 GATEWAY=192.168.175.2 -------> 网关
21 DNS1=114.114.114.114 -------> 域名解析器
第三步:systemctl restart network -----> 重启网络
可以直接在图形界面下设置
解决没有ens33
systemctl stop NetworkManager 临时关闭
systemctl disable NetworkManager 永久关闭网络管理命令
systemctl start network.service 开启网络服务
关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld
firewall-cmd --state
firewall-cmd --reload
如果有桌面可以直接
setup
配置Host列表来对应
vi etc/hosts
192.168.79.129 master
192.168.79.130 node1
192.168.79.130 node2
用ping命令来测试
SSH免密登录
这是互相免密
进入node1:
[root@node1 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #获得自己的密钥。
[root@node1 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #将自己的密钥添加到自己的私钥里。做到免密钥。
[root@node1 ~]# scp -r ~/.ssh/id_dsa.pub root@node2:/tmp/ #将node1的密钥传到node2服务器的tmp中。
进入node2:
[root@node2 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa #获得自己的密钥。
[root@node2 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #将自己的密钥添加到自己的私钥里。做到免密钥。
[root@node2 ~]# scp -r ~/.ssh/id_dsa.pub root@node1:/tmp/ #将node2的密钥传到node1服务器的tmp中。
添加密钥:
[root@node1 ~]# cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys #将node1的密钥添加到自己的私钥里。
[root@node2 ~]# cat /tmp/id_dsa.pub >> ~/.ssh/authorized_keys #将node1的密钥添加到自己的私钥里。
测试:
[root@node1 ~]# ssh node2 #不用输入密码直接进入node2
[root@node2 ~]# ssh node1 #不用输入密码直接进入node1
必须安装java,并记住路径
#一般放在/usr/local/java下
#环境变量一般放在/etc/profile.d/下
java.sh
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source /etc/profile
直接scp复制3份
scp -r /usr/lacao/java/ root@node1:/usr/local/
scp -r /usr/lacao/java/ root@node2:/usr/local/
scp java.sh root@node1:/etc/profile.d/java.sh
配置Hadoop环境变量
vim /etc/profile.d/hadoop.sh #配置环境变量
export HADOOP_HOME=/home/hfut/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
同理scp复制3份
Hadoop相关配置文件
都在hadoop/etc/下进行相关配置
配置好scp复制3份
hadoop-env.sh
core-site.xml
hdfs-site.xml
yarn-site.xml
其实大多数是默认项,不配也罢。即可以不配。真正的集群也是自动化部署。
启动集群
第一次
hdfs namenode -format
启动集群
start-all.sh
关闭集群
stop-all.sh
env.sh
core-site.xml
hdfs-site.xml
yarn-site.xml
其实大多数是默认项,不配也罢。即可以不配。真正的集群也是自动化部署。
启动集群
第一次
hdfs namenode -format
启动集群
start-all.sh
关闭集群
stop-all.sh