大数据之Hadoop环境搭建

1.使用VMware安装centos 7 ，安装为服务器，因为是VMware，所以使用NAT网络，网络连接里面选择使用VMnet8，设置IPv4的IP地址和子网掩码

1.1centos安装成功后，登录进去修改IP地址(/etc/sysconfig/network-scripts/ifcfg-ens33  ; TYPE=Ethernet;IPADDR=*.*.*.*;NETMASK=255.255.255.0)和网关(/etc/sysconfig/network;NETWORKING=yes;GATEWAY=*.*.*.*<GATEWAY就是VMnet8设置的IP>)

执行 service network restart或systemctl restart network重启网络服务，使以上设置生效

1.2可以选择修改主机名  hostnamectl set-hostname [hostname]

2.将jdk和hadoop文件包上传到虚拟机中

3.解压jdk tar -zxvf jdk-8u191-linux-x64.tar.gz ;解压hadoop tar -zxvf hadoop-2.9.2.tar.gz

vi /etc/profile  ;export JAVA_HOME=/../jdk1.8.0_191;export PATH=$PATH:$JAVA_HOME/bin;$HADOOP_HOME/bin;$HADOOP_HOME/sbin

source /etc/profile 使以上环境变量生效

4.将虚拟机克隆三份，作为DataNode搭建服务集群，分别修改IP地址和hostname

5.将防火墙关闭并禁止开机启动systemctl stop firewalld;systemctl disable firewalld

6./../hadoop/etc/hadoop/core-site.xml   添加

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
</property>

7.修改hosts文件分别指定namenode和datanode

vi /etc/hosts;  192.168.245.100 master;192.168.245.101 slave1;......

8.master上启动namenode，首先hadoop namenode -format;hadoop-daemon.sh start namenode

9.slave上启动datanode，hadoop-daemon.sh start datanode

10.jps查看启动的namenode和datanode

搭建over