大数据项目——实战项目：广告数仓（第二部分）

目录

第4章 广告数仓架构设计

第5章 集群环境准备

5.1 服务器准备

5.1.1 创建3台虚拟机

5.1.2 SSH无密登录配置

5.1.3 编写集群分发脚本xsync

5.1.4 JDK准备

5.1.5 环境变量配置说明

5.2 Hadoop部署

5.2.1  完全分布式运行模式（开发重点）

5.2.2  Hadoop部署

5.2.3 配置集群

5.2.4 配置历史服务器

5.2.5 配置日志的聚集

5.2.6 分发Hadoop

5.2.8 Hadoop群起脚本

---

第4章 广告数仓架构设计

        以下是本项目完整架构图

要点说明：

1）数据采集

        本数仓项目的数据来源有两个——外部媒体上报的广告曝光点击数据流和内部广告管理平台的数据库。

        （1）广告曝光点击数据流

        首先使用Nginx服务器接收数据请求，然后将数据落盘到日志文件。之后使用Flume采集日志文件并将数据暂时写入Kafka进行缓冲，后边再由Flume消费Kafka并将数据写入HDFS。

        （2）广告管理平台数据库

        使用专门的数据库同步工具DataX进行批量同步，直接由数据库写入HDFS。

2）分析引擎

为保证报表较低的查询延迟，使用Clickhouse作为分析引擎。

3）BI工具

使用FineBI制作报表。

第5章 集群环境准备

5.1 服务器准备

5.1.1 创建3台虚拟机

本项目须使用三台服务器（虚拟机），相关环境配置可参照如下博客。

大数据技术——Hadoop运行环境搭建-CSDN博客

5.1.2 SSH无密登录配置

        因为hadoop102未外配置的是NameNode，hadoop103配置的是ResourceManager，都要求对其他节点无密访问。在每台虚拟机都需要进行无密登录。都进行一下操作。

（1）hadoop102上生成公钥和私钥：

[gg@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将hadoop102公钥拷贝到要免密登录的目标机器上

[gg@hadoop102 .ssh]$ ssh-copy-id hadoop102

[gg@hadoop102 .ssh]$ ssh-copy-id hadoop103

[gg@hadoop102 .ssh]$ ssh-copy-id hadoop104

5.1.3 编写集群分发脚本xsync

1）xsync集群分发脚本

（1）需求：循环复制文件到所有节点的相同目录下

（2）需求分析

                ①rsync命令原始拷贝：

                rsync  -av     /opt/module      root@hadoop103:/opt/

                ②期望脚本：

                        xsync要同步的文件名称

                ③说明：在/home/atguigu/bin这个目录下存放的脚本，atguigu用户可以在系统任何地方直接执行。

（3）脚本实现

        ①在用的家目录/home/atguigu下创建bin文件夹

[gg@hadoop102 ~]$ mkdir bin

        ②在/home/atguigu/bin目录下创建xsync文件，以便全局调用

[gg@hadoop102 ~]$ cd /home/atguigu/bin

[gg@hadoop102 ~]$ vim xsync

        在该文件中编写如下代码

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

③修改脚本xsync具有执行权限

[gg@hadoop102 bin]$ chmod +x xsync

④测试脚本

[gg@hadoop102 bin]$ xsync xsync

5.1.4 JDK准备

1）卸载现有JDK（3台节点）

在三台机器上分别执行以下命令

[gg@hadoop102 opt]# sudo rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps

         （1）rpm -qa：表示查询所有已经安装的软件包

         （2）grep -i：表示过滤时不区分大小写

         （3）xargs -n1：表示一次获取上次执行结果的一个值

         （4）rpm -e --nodeps：表示卸载软件

2）用XShell工具将JDK导入到hadoop102的/opt/software文件夹下面

3）在Linux系统下的opt目录中查看软件包是否导入成功

[atguigu@hadoop102 software]# ls /opt/software/

看到如下结果：

4）解压JDK到/opt/module目录下

[atguigu@hadoop102 software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

5）配置JDK环境变量

         （1）新建/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 module]# sudo vim /etc/profile.d/my_env.sh

添加如下内容，然后保存（:wq）退出

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_212

export PATH=$PATH:$JAVA_HOME/bin

         （2）让环境变量生效

[atguigu@hadoop102 software]$ source /etc/profile.d/my_env.sh

6）测试JDK是否安装成功

[atguigu@hadoop102 module]# java -version

如果能看到以下结果、则Java正常安装

java version "1.8.0_212"

7）分发JDK

[atguigu@hadoop102 module]$ xsync /opt/module/jdk1.8.0_212

8）分发环境变量配置文件

[atguigu@hadoop102 module]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

9）分别在hadoop103、hadoop104上执行source

[atguigu@hadoop103 module]$ source /etc/profile.d/my_env.sh

[atguigu@hadoop104 module]$ source /etc/profile.d/my_env.sh

5.1.5 环境变量配置说明

        Linux的环境变量可在多个文件中配置，如/etc/profile，/etc/profile.d/*.sh，~/.bashrc，~/.bash_profile等，下面说明上述几个文件之间的关系和区别。

bash的运行模式可分为login shell和non-login shell。

例如，我们通过终端，输入用户名、密码，登录系统之后，得到就是一个login shell。而当我们执行以下命令ssh hadoop103 command，在hadoop103执行command的就是一个non-login shell。

        这两种shell的主要区别在于，它们启动时会加载不同的配置文件，login shell启动时会加载/etc/profile，~/.bash_profile，~/.bashrc。non-login shell启动时会加载~/.bashrc。

        而在加载~/.bashrc（实际是~/.bashrc中加载的/etc/bashrc）或/etc/profile时，都会执行如下代码片段，

        因此不管是login shell还是non-login shell，启动时都会加载/etc/profile.d/*.sh中的环境变量。

5.2 Hadoop部署

本项目依托Hadoop生态，故需提前在集群中安装Hadoop，Hadoop的安装和配置。

5.2.1  完全分布式运行模式（开发重点）

分析：

        1）准备3台客户机（关闭防火墙、静态IP、主机名称）

        2）安装JDK

        3）配置环境变量

        4）安装Hadoop

        5）配置环境变量

        6）配置集群

        7）单点启动

        8）配置ssh

        9）群起并测试集群

5.2.2  Hadoop部署

1）集群部署规划

        注意：NameNode和SecondaryNameNode不要安装在同一台服务器

        注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2）用SecureCRT工具将hadoop3.3.4.tar.gz导入到opt目录下面的software文件夹下面

切换到sftp连接页面，选择Linux下编译的hadoop jar包拖入，如图2-32所示

图2-33 拖入Hadoop的tar包

3）进入到Hadoop安装包路径下

[atguigu@hadoop102 ~]$ cd /opt/software/

4）解压安装文件到/opt/module下面

[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.3.4.tar.gz -C /opt/module/

5）查看是否解压成功

[atguigu@hadoop102 software]$ ls /opt/module/hadoop-3.3.4

6）重命名

[atguigu@hadoop102 software]$ mv /opt/module/hadoop-3.3.4 /opt/module/hadoop

7）将Hadoop添加到环境变量

        （1）获取Hadoop安装路径

[atguigu@hadoop102 hadoop]$ pwd

/opt/module/hadoop

        （2）打开/etc/profile.d/my_env.sh文件

[atguigu@hadoop102 hadoop]$ sudo vim /etc/profile.d/my_env.sh

在profile文件末尾添加JDK路径：（shitf+g）

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出

:wq

        （4）分发环境变量文件

[atguigu@hadoop102 hadoop]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

（5）source 使之生效（3台节点）3台虚拟机均运行

[atguigu@hadoop102 module]$ source /etc/profile.d/my_env.sh

[atguigu@hadoop103 module]$ source /etc/profile.d/my_env.sh

[atguigu@hadoop104 module]$ source /etc/profile.d/my_env.sh

5.2.3 配置集群

1）核心配置文件

配置core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop

[atguigu@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data</value>
</property>

<!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
</property>

<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.atguigu.users</name>
        <value>*</value>
</property>
</configuration>

2）HDFS配置文件

配置hdfs-site.xml

[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

3）YARN配置文件

配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!--yarn单个容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

4）MapReduce配置文件

配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

5）配置workers

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

5.2.4 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1）配置mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

5.2.5 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1）配置yarn-site.xml

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

5.2.6 分发Hadoop

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop/

5.2.7 群起集群

1）启动集群

        （1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[atguigu@hadoop102 bin]$ cd /opt/module/hadoop/

[atguigu@hadoop102 hadoop]$ bin/hdfs namenode -format

        （2）启动HDFS

[atguigu@hadoop102 hadoop]$ sbin/start-dfs.sh

        （3）在配置了ResourceManager的节点（hadoop103）启动YARN

[atguigu@hadoop103 hadoop]$ sbin/start-yarn.sh

        （4）Web端查看HDFS的Web页面：http://hadoop102:9870/

        （5）Web端查看SecondaryNameNode

                ① 浏览器中输入：http://hadoop104:9868/status.html

                ② 查看SecondaryNameNode信息

5.2.8 Hadoop群起脚本

（1）在/home/atguigu/bin目录下创建hdp.sh

[atguigu@hadoop102 bin]$ cd /home/atguigu/bin

[atguigu@hadoop102 bin]$ vim hdp.sh

（2）写入以下内容：

#!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

（3）增加权限

[atguigu@hadoop102 bin]$ chmod +x hdp.sh

（4）启动集群

[atguigu@hadoop102 bin]$ hdp.sh start

日志如下。

（5）停止集群

[atguigu@hadoop102 bin]$ hdp.sh stop

日志如下

到此我们就部署好Hadoop了，完成了前五个章节，前三个章节在此文章里大数据项目——实战项目：广告数仓（第一部分）-CSDN博客

欢迎大家阅读！