一、学习背景
为了熟悉大数据平台,做一下笔记,便于以后学习和回顾。
二、官方文档
三:软件准备
1.jdk环境
jdk-8u121-linux-x64.rpm
2.CDH安装相关的包
cloudera manager包:
cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz 下载地址
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel
CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel.sha 更改为sha后缀
manifest.json
以上三个下载地址在http://archive.cloudera.com/cdh5/parcels/5.7.2/,注意centos要下载el7的,我就因为一开始不清楚下的el5,结果提示parcels不知道redhat7,搞了好久才还原到初始重新来过
复制代码
3.mysql相关
mysql57-community-release-el7-8.noarch.rpm
jdbc连接包:mysql-connector-java-5.1.39.jar(dev.mysql.com/downloads/c…)
四:机器规划
虚拟机准备
相关安装略过,准备好三台环境一样的centos在本地虚拟机VMWare上,建议三台内存分别为8g,2g,2g,其中最大的那台可以当作主机,如果内存不够就设少点,三台虚拟机情况如下:
五:开始安装前配置和预装软件
创建数据库
建库前先删除原来的:
drop database hive;
drop database hue;
drop database monitor;
drop database oozie;
drop database scm; –cm配置管理cdh集群所需要的db
//创建数据库,存储相应的配置文件
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all on *.* to root@”%” identified by “123456”;
在本机先使用root用户登录mysql: mysql -u root -p"youpassword" 进行授权操作:
mysql>GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'youpassword' WITH GRANT OPTION;
重载授权表:
FLUSH PRIVILEGES;
复制代码
安装Cloudera-Manager步骤如下:
1.解压cm tar包到指定目录所有服务器都要(或者在主节点解压好,然后通过scp到各个节点同一目录下)
创建cm安装文件夹(all nodes):
mkdir /opt/cloudera-manager
tar -xf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager
复制代码
在浏览器安装CDH
使用CM(Cloudera Manager)作为集群管理、配置、调优的可视化工具。
等待主节点安装并且启动就在浏览器中进行操作了进入A.B.C.D:7180默认使用admin admin登录 以下在浏览器中使用操作安装