glisten0317的博客

HDFS依赖libtirpc-devel，因此需要先安装libtirpc-devel。创建yml文件，/root/ansible/libtirpc.yml执行。

在hdp01、hdp02上生成公钥，配置免密登录到其他节点。

Part.3 资源规划Part.17 安装Spark2Part.18 安装FlinkPart.19 安装KafkaPart.20 安装Flume。

在外网服务器上，下载ambari-flume-service服务下载flume的tar包，下载链接为将apache-flume-1.9.0-bin.tar.gz放到ambari-flume-service目录下执行编译生成rpm包，需要安装rpm-build命令，需要进入到shell脚本目录下执行。

选择kafka进行安装选择hdp03-05作为kafka的broker。

下载链接为上传到hdp01上，并复制到/var/www/html下。

添加Spark2服务需要重启HDFS、YARN、MapReduce2、Hive、HBase等相关服务。

选择HBase进行安装。

利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hive。

使用Yarn提交MapReduce任务的时候，中间结果会保存在HDFS，/user/username/，如果/user目录下用户目录下不存在，则被创建，当MR执行结束之后，中间结果会被删除，目录保留。因此需要在Ranger中对/user的权限做策略。

Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。

选择不安装Ranger Tagsync。

服务端，在hdp01上安装客户端，在hdp01-05上安装（可选，后面ambari启用kerberos的时候也会安装）

开始安装集群。

在hdp01、hdp02上安装在hdp01-05上安装。

【hdp01】创建Ambari数据库。

mysql主从复制的原理：1）master将数据改变记录到二进制日志（binary log）中，也即是配置文件log-bin指定的文件（这些记录叫做二进制日志事件，binary log events）；2）slave将master的binary log events拷贝到它的中继日志（relay log）；3）slave重做中继日志中的事件，将改变反映它自己的数据（数据重演）。

【hdp01】配置CentOS镜像Yum源创建repo文件，/etc/yum.repos.d/local.repo更新yum源安装httpd服务配置http服务指向CentOS源删除原有repo文件配置所有节点的系统Yum源。

下载jdk安装文件，放到/opt中，将文件解压到/usr/local下后，修改/etc/profile文件中环境参数，实现java的安装。确认java是否安装正常。创建jdk.yml文件。

使用分布式系统就无法避免对节点管理的问题（），而由于这些问题处理起来可能相对麻烦和提高了系统的复杂性，ZooKeeper作为一个能够通用解决这些问题的中间件就应运而生了。