使用ambari部署大数据平台

一.、版本介绍 使用的版本为ambari版本2.6.0.0，HDP版本2.6.3.0-235，HDP-UTILS-1.1.0.21及jdk1.8，mysql5.7，mysql-connector-java-5.1.45，另外系统内存和磁盘容量都要大一些。

二、环境准备

1. 磁盘检查
   ~/bin/runRemoteCmd.sh “df -h” all
   2.修改字符集
   vim /etc/locale.conf
   LANG=" en_US.UTF-8" 即为系统的语言（修改操作系统字符集）
   修改文件保存退出之后要生效要执行如下命令才可生效
   [root@ database01~]$ source vim /etc/locale.conf
   3.关闭防火墙
   查看状态： systemctl status firewalld
   开机禁用 ： systemctl disable firewalld
   4.关闭SeLinux
   setenforce 0 临时生效
   /etc/selinux/config SELINUX=disabled （重启后永久生效）
   5.修改limits 参数
   vi /etc/pam.d/login
   //在其中加入如下内容：
   session required /lib/security/pam_limits.so
   vi /etc/security/limits.conf
   //在文件中添加下面的内容

• soft nofile 65535
• hard nofile 65535
• soft nproc 65535
• hard nproc 65535
  6.禁用IPV6
  vi /etc/default/grub
  GRUB_CMDLINE_LINUX=“ipv6.disable=1 rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet”

7.修改主机名
vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=bigdata
重启生效。

8.配置hosts文件
vi /etc/hosts
192.168.234.135 bigdata

9.时钟同步
yum install ntp
完成后，配置开机启动：
chkconfig ntpd on
检查是否设置成功：
chkconfig --list ntpd

10.SSH互信配置
mkdir .ssh
ssh-keygen -t rsa//执行命令一路回车，生成秘钥
cd .ssh
cat id_rsa.pub >> authorized_keys //将公钥保存到authorized_keys认证文件中
cd …
chmod 700 .ssh
chmod 600 .ssh
ssh bigdata //第一次执行需要输入yes 第二次以后就可以直接访问
cat ~/.ssh/id_rsa.pub | ssh hadoop@ambari01 ‘cat >> ~/.ssh/authorized_keys’
scp -r authorized_keys hadoop@bigdata:~/.ssh/ scp文件到所有节点

11.相关服务的安装
yum -y install lrzsz
yum install -y openssh-clients

12.OPENJDK卸载和重新安装JDK
rpm -qa|grep java
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64
tar -zxvf jdk-8u112-linux-x64.tar.gz -C /usr/local/jdk/
echo “export JAVA_HOME=/usr/local/jdk1.8.0_112” >> /etc/profile
echo “export PATH=$JAVA_HOME/bin:$PATH” >> /etc/profile
source /etc/profile
cat /etc/profile //查看jdk配置class路径
java -version

13.安装配置mysql
rpm -qa | grep mariadb 卸载掉mariadb包
rpm -e mariadb-libs-5.5.56-2.el7.x86_64 --nodeps
如果删不掉的话可以试试这条命令：yum remove mysql-libs
https://blog.csdn.net/qq_38417808/article/details/81291588
然后可以离线自己安装或者直接使用指令安装mysql。
mysql数据库，作为ambari的元数据数据库
通过
yum install mysql-community-server
安装mysql服务器。
systemctl enable mysqld.service

设置开机启动，并
systemctl start mysqld.service

获取root登录密码：
grep ‘password’ /var/log/mysqld.log

启动mysql服务，并根据提示设置root的初试密码：P;Gpd>L!i9hp
修改root密码
alter user ‘root’@‘localhost’ identified by ‘XXXX’
mysqladmin -u root password ‘xxxx’
grant all privileges on . to root@“localhost” Identified by “XXXX”;
grant all privileges on . to root@“127.0.0.1” Identified by “XXXX”;
grant all privileges on . to root@“主机名” Identified by “XXXX”;
mysql -uroot -pxxxx

进入mysql命令行，创建以下数据库：
#hive
create database hive default charset utf8 collate utf8_general_ci;
CREATE USER hive@‘localhost’ IDENTIFIED BY ‘XXXXX’;
CREATE USER hive@’%’ IDENTIFIED BY ‘XXXXX’;
grant all privileges on hive.* to ‘hive’@‘localhost’ identified by ‘XXXXX’;
grant all privileges on hive.* to ‘hive’@’%’ identified by ‘XXXXX’;
flush privileges;

#ambari
create database ambari default charset utf8 collate utf8_general_ci;
CREATE USER ambari@‘localhost’ IDENTIFIED BY ‘XXXXXX’;
CREATE USER ambari@’%’ IDENTIFIED BY ‘XXXXXX’;
grant all