大数据项目实战（Hadoop集群搭建）

一，搭建大数据集群环境

1.2 Hadoop集群搭建

1.2.1 jdk安装

1.下载jdk

(1)在根目录下创建三个子目录以备后用。具体如下：

mkdir -p /export/data
mkdir -p /export/software

mkdir -p /export/servers

(2)下载路径：
1、官网下载地址https://www.oracle.com/java/technologies/javase-downloads.html
2、百度网盘链接：https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?pwd=huan 
提取码：huan

注意：选择适合自己的JDK，并且注意安装JDK的系统

2.安装jdk

（1）上传jdk安装包至/export/software目录下

 (2)查看是否上传成功

(3)解压至 /export/servers目录下

tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers

 （注意目录和版本名称）

3.配置jdk环境变量

(1)修改jdk的名称

mv jdk1.8.0_161 jdk     (注意jdk的版本名称)

（2）配置环境变量：

vi /etc/profile

export JAVA_HOME=/export/servers/jdk export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

4.jdk环境验证

(1)初始化环境变量

 source /etc/profile

（2）验证jdk是否安装成功

java -version 

1.2.2 Hadoop安装

1.下载hadoop

（1）下载hadoop的两种方法

①到官网下载《官网》https://hadoop.apache.org/releases.html ②百度网盘链接：https://pan.baidu.com/s/1AkJCiEuxdkG_t-PfumbQDQ?pwd=huan 
提取码：huan

注意：选择适合自己的JDK，并且注意安装JDK的系统

2.安装hadoop

（1）上传hadoop安装包至/export/software目录下

(2)查看是否上传成功

（3）解压至/export/servers目录下

tar -zxvf hadoop-2.7.4.tar.gz -C /export/servers

3.配置hadoop环境变量

（1）修改hadoop的名称

mv hadoop-2.7.4 hadoop

（2）配置环境变量

vi /etc/porfile

export HADOOP_HOME=/export/servers/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4.hadoop环境验证

（1）初始化环境变量

source /etc/profile

（2）检验hadoop是否安装成功

hadoop version

1.2.3 hadoop集群配置

1.配置hadoop-env.sh

（1）进入hadoop

cd  /export/servers/hadoop/etc/hadoop

(2)修改hadoop-env.sh配置文件

vi hadoop-env.sh

2.修改core-site.xml

vi core-site.xml    (自己手敲吧，注意别错了哈)

3.修改hdfs-site.xml

 vi hdfs-site.xml   (自己手敲吧，注意别错了哈)

4.修改mapred-sile.xml文件

(1)复制模板并重命名

 cp mapred-site.xml.template mapred-site.xml  

(2)编辑文本

vi mapred-site.xml

5.修改yarn-site.xml;

vi yarn-site.xml

6.修改slaves

vi slaves

7.将集群主节点的配置文件分发到其他子节点

(1)将安装内容分发给Hadoop02和Hadoop03。（需要提前在hadoop02和hadoop03上创建/export/servers/目录）

scp /etc/profile hadoop02:/etc/profile

scp /etc/profile hadoop03:/etc/profile

 scp -r /export/servers/ hadoop02:/export/ 

 scp -r /export/servers/ hadoop03:/export/

(2)分发完成之后刷新配置文件(三台都需要)

source /etc/profile

 1.2.4hadoop集群测试

1.格式化文件系统（只在hadoop01里面输入，注意先检查是否配置正确，格式化次数过多后面会出问题）

hdfs namenode -format

2.启动hadoop集群

（1）一键启动（只在hadoop01里面输入）：start-all.sh

（2）修改本地主机hosts文件

路径：C:\Windows\System32\drivers\etc\hosts

 （3）关闭所有节点防火墙并设置禁用。

查看防火墙状态：systemctl status firewalld

安装防火墙：yum install firewalld firewall-config

安装了防火墙，查看防火墙显示的是这个页面

关闭防火墙（暂时的系统重新启动后，防火墙将重新打开）：systemctl stop firewalld

关闭防火墙（永久），系统重新启动后，防火墙将依然关闭：systemctl disable firewalld

1.2.5通过UI界面查看Hadoop运行状态

 打开浏览器中输入：

               http://hadoop01:50070

               http://hadoop01:8088