HDP2.2集群安装

 

1、修改hosts

/etc/hosts

          hostname -f

 

10.0.0.13   HDP-test0.HDPStudy.b1.internal.chinacloudapp.cn  HDP-test0

10.0.0.16   HDP-test01.HDPStudy.b1.internal.chinacloudapp.cn  HDP-test01

10.0.0.17   HDP-test02.HDPStudy.b1.internal.chinacloudapp.cn  HDP-test02

10.0.0.18   HDP-test03.HDPStudy.b1.internal.chinacloudapp.cn  HDP-test03

10.0.0.19   HDP-test04.HDPStudy.b1.internal.chinacloudapp.cn  HDP-test04

 

2、修改network

/etc/sysconfig/network

NETWORKING=yes

 

HOSTNAME=HDP-test01.HDPStudy.b1.internal.chinacloudapp.cn

NETWORKING_IPV6=no

NTPSERVERARGS=iburst

 

3、selinux

     vi /etc/selinux/config

     disabled

 

     重启

 

4、免密

     ssh-keygen -t rsa

     ssh-copy-id 主机名

     (未作双向)

 

5、ntp

     yum -y install ntp

     service ntpd start

     systemctl enable ntpd

 

6、防火墙（虚拟机已关闭）

 

7、httpd

     yum -y install httpd

     systemctl start httpd.service

     systemctl enable httpd

 

8、安装jdk

 

     执行：rpm -qa | grep java      将查出的列表先一条条删除      执行 rpm  -e –nodeps  文件名

 

     rpm -ivh jdk-8u91-linux-x64.rpm

 

     修改环境变量

     JAVA_HOME=/usr/java/jdk1.8.0_91

    JRE_HOME=/usr/java/jdk1.8.0_91/jre

     PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

     CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

     export JAVA_HOME JRE_HOME PATH CLASSPATH

       

     source

 

9、安装mysql

     要在centos 7上安装mysql ，需要卸载MariaDB，否则会冲突。 执行命令：rpm -qa | grep mariadb  （查mariadb包列表） 执行命令  rpm -e –-nodeps mariadb-XXXXX.x86_64（xxxx上一步文件，挨个删） rpm -e --nodeps mariadb-libs-5.5.47-1.el7_2.x86_64

 

 

     yum install -y perl-Module-Install.noarch

       

     rpm -ivh    server

              client

 

[ERROR] Can't open the mysql.plugin table. Please run mysql_upgrade to create it.

     mysql_install_db --user=mysql --datadir=/var/lib/mysql

 

     mysqld_safe –user=mysql –skip-grant-tables –skip-networking & mysql -u root mysql

     - mysql --socket=/var/lib/mysql/mysql.sock

 

     执行： mysqld_safe –user=mysql –skip-grant-tables –skip-networking & mysql -u root mysql （实际是启动并进入了mysql) 用帐号登录mysql，执行：mysql –u root 执行： use mysql 改变用户数据库 修改密码，记得密码要用password()函数进行加密,执行：    update user set password=PASSWORD（'123456a？'） where user = 'root'; 刷新权限表, 执行：        flush privileges;

 

10、ambari安装（更改机器名是注意修改/etc/ambari-agent/conf/）

     - yum install -y mysql-connector-java

 

     /var/www/html

     /etc/yum.repos.d

    yum install ambari-server-2.2.2.0-460.x86_64

 

ambari-server setup

 

     数据库配置：

 

手工去创建ambari数据库及用户

- 命令：mysql -u root -p

 

- 执行：create database ambari; （创建ambari数据库）

- 执行：GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost' IDENTIFIED BY 'bigdata'; (创建ambari用户)

- 执行：GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%' IDENTIFIED BY 'bigdata';

- 执行：FLUSH PRIVILEGES; （刷新权限）

- 执行：quit;

 

- 命令：service mysql restart;

- 验证：mysql -u ambari -p (成功登陆则OK）

 

- 执行：use ambari;

- 执行：source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; （ambari数据库建表）

- 验证：show tables; (显示ambari数据库所有表则OK)

- 执行：quit;

 

     - ambari-server start

 

11、hdp

 

     将创建的hdp.repo, hdp-utils.repo 文件上传至 /etc/yum.repos.d 目录下，然后分发至集群里所有机器的相同目录下

     /var/www/html

     /etc/yum.repos.d

 

12、hdp-util

     /var/www/html

     /etc/yum.repos.d

 

13、创建hive数据库

     CREATE DATABASE `hive` /*!40100 DEFAULT CHARACTER SET utf8 */;

     CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';

     GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' IDENTIFIED BY 'hive';

flush privileges;

14、创建oozie数据库

     CREATE DATABASE `oozie` /*!40100 DEFAULT CHARACTER SET utf8 */;

     CREATE USER 'oozie '@'%' IDENTIFIED BY 'oozie ';

     GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

flush privileges;

15、安装

     yum install deltarpm

     更改hdfs权限

 

 

yarn运行时本地数据临时目录 yarn.nodemanager.local-dirs

 

在某台机器上添加服务

     hosts > hostname > add

 

AMS 要以分布式模式运行，那么 Metrics Collector 所在的机器必须部署一个 HDFS 的 Data Node 模块。