http://链接:https://pan.baidu.com/s/135LmaLgi6tFcsQp8QHO68Q
提取码:jony
上面是搭建环境所需要下载的包(mysql,jdk,cdh6.3.1,cm6.3.2),有需要可以自取。
1.下载vbox,electerm,CentOS-7-x86_64-Minimal-2009
2.在vbox设置(网络,储存,光驱);虚拟机的设置:
(1)内存设置(内存10240,处理器:4),磁盘空间设置(60GB),环境设置(Linux)
(2)配置虚拟机:加入虚拟机(centos光驱),配置分区,分配内存(home删除,把内存空间都分配到root下54GiB),更改主机名,打开以太网,设置root密码
(3)在vbox网络配置(网关1:NAT,网关2:host-only)即可ping通
3.在electerm导入虚拟机(本人三个虚拟机的名字:cdh1,cdh2,cdh3)
新建new terminal 写入虚拟机的ip地址,用户名:root,在虚拟机开启的情况下,查看electerm中能不能ping通。
4.配置映射hosts,hostname,windows系统里的hosts
(1) vi /etc/hostname 修改主机名一个
(2)vi /etc/hosts 写入ip和主机名三个
192.168.56.102 cdh1
192.168.56.103 cdh2
192.168.56.104 cdh3
(3)
进入C:\Windows\System32\drivers\etc找到hosts
添加 192.168.56.102 cdh1
192.168.56.103 cdh2
192.168.56.104 cdh3
保存修改
5.设置免密码(ssh)(分别在三台虚拟机都运行)
生成密钥ssh-keygen -t rsa
设置免密登陆 ssh-copy-id cdh1
ssh-copy-id cdh2
ssh-copy-id cdh3
测试:ssh cdh1/2/3
6.设置时间同步服务
vi /etc/chrony.conf
systemctl restart chronyd
chronyc sources
7.导入包可以放在/root路径下
(注意,上传的时候,jdk要放进cm6.3.1)
8.防火墙的关闭(分别在三台虚拟机都运行)
systemctl stop firewalld.service 停止防火墙
systemctl status firewalld.service 查看防火墙状态
systemctl disable firewalld.service 删除防火墙
systemctl status firewalld.service 查看……如下图即为关闭防火墙成功
9.关闭SELinux(分别在三台虚拟机都运行)
进入vi /etc/selinux/config
将 SELINUX=enforcing改为SELINUX=disable
在root路径:输入setenforce 0
10.设置Swap分区(分别在三台虚拟机都运行)
echo vm.swappiness=0 >> /etc/sysctl.conf
sysctl -p
11.transparent_hugepage透明大页面的关闭(分别在三台虚拟机运行)
关闭语句:
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
查看是否关闭成功:
cat /sys/kernel/mm/transparent_hugepage/enabled
永久关闭:进入文件 vi /etc/rc.d/rc.local 进入编写
提供文件权限:chmod +x /etc/rc.d/rc.local 这样文件的编写才会生效
进入vi /etc/sysctl.conf
编写
vm.swappiness=0
输入sysctl -p
12.yum
(1)下载httpd(cdh1):
yum install httpd
systemctl start httpd 启动httpd
systemctl status httpd 查看httpd的状态(如下图即为启动成功)
(2)下载net-tools(cdh1,cdh2,cdh3)
yum install net-tools
(3)下载createrepo(cdh1)
yum install createrepo
查看语句:netstat -lntp
(4)下载epel-release(cdh1,cdh2,cdh3)
yum install epel-release
cdh1虚拟机进入路径:cd /etc/yum.repos.d/
输入:cp CentOS-Base.repo ./Centos-Local.repo
进入文件:vi Centos-Local.repo
进入文件后编写:
[base-local]
name=CentOS-Local
baseurl=http://cdh1/cdh_local_repo
gpgcheck=0
enabled=1
cdh1虚拟机在root路径移动文件(前提cm6.3.1文件中要有jdk):mv cm6.3.1/ /var/www/html/cdh_local_repo
cdh1查看:ls /var/www/html/
将查看出现的名字同步:createrepo /var/www/html/cdh_local_repo/
cdh1的root路径:mv cdh6.3.2/ /var/www/html/parcels
cdh1远程将cdh6.3.2传输到cdh2,cdh3:scp /etc/yum.repos.d/Centos-Local.repo cdh2:/etc/yum.repos.d/ 和 scp /etc/yum.repos.d/Centos-Local.repo cdh3:/etc/yum.repos.d/
在cdh2,cdh3查看有没有传输成功: ls /etc/yum.repos.d/
在cdh1,2,3使用:yum repolist (查看)
检查:CentOS-Local 是不是为8
13.MySql
前提mysql-community-release-e17-5.noarch.rpm要在root路径下
下载mysql rpm -ivh mysql-community-release-e17-5.noarch.rpm
创建文件夹 mkdir /usr/share/java
复制mysql到改文件夹 : cp mysql-connector-java.jar /usr/share/java/
查看mysql是否下载成功: ls /usr/share/java/
先在cdh2,cdh3的虚拟机里操作:创建文件夹mkdir /usr/share/java
在cdh1操作(将mysql远程传送到创建的java文件夹里):scp mysql-connector-java.jar cdh2:/usr/share/java 和 scp mysql-connector-java.jar cdh3:/usr/share/java
cdh1下载:yum install mysql-server
先启动服务:systemctl start mysqld
进入mysql输入:mysql
将密码改成’cqie‘:grant all privileges on *.* to root@'%' identified by 'cqie';
改完之后刷新:flush privileges;
退出:exit;
尝试用密码登录mysql: mysql -h192.168.56.102 -uroot -pcqie
创建了三个数据库(如下图)
14.JDK
cdh1查看jdk版本:yum list |grep jdk
cdh1,2,3都下载jdk1.8:yum install jdk1.8
cdh1,2,3查看jdk有没有下载成功:javac -version
cdh1查看cloudera列表:yum list|grep cloudera
在cdh1虚拟机下载三个:
yum install cloudera-manager-agent
yum install cloudera-manager-server
yum install cloudera-manager-daemons
在cdh2虚拟机上下载agent:yum install cloudera-manager-agent
在cdh3虚拟机上下载agent:yum install cloudera-manager-agent
在三台虚拟机上进入文件: vi /etc/cloudera-scm-agent/config.ini
修改内容:在cdh1的虚拟机:server_host=cdh1
在cdh2的虚拟机:server_host=cdh1
在cdh3的虚拟机:server_host=cdh1
只在cdh1虚拟机进入路径连接数据库:/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm --host cdh1 root cqie
cdh1,2,3建立超级用户 :groupadd supergroup
cdh1,2,3输入:usermod -a -G supergroup root
在cdh1虚拟机上启动服务:systemctl start cloudera-scm-server
查看启动状态:systemctl status cloudera-scm-server
cdh1,2,3虚拟机启动agent:systemctl start cloudera-scm-agent
查看启动状态:systemctl status cloudera-scm-agent
查看cdh1虚拟机的服务状态:netstat -lntp (看看有没有7180)
15.登录网页
在网址的位置输入cdh1:7180
用户名:admin
密码:admin