首先给大家分享一个巨牛巨牛的人工智能教程,是我无意中发现的。教程不仅零基础,通俗易懂,而且非常风趣幽默,还时不时有内涵段子,像看小说一样,哈哈~我正在学习中,觉得太牛了,所以分享给大家!点这里可以跳转到教程
1 Cloudera 文档总地址
https://www.cloudera.com/documentation/enterprise/6/6.0.html
2 Cloudera Manager 和CDH下载地址
Cloudera Manager下载地址:
https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/
下载上线的rpm,然后把这些文件放到/root目录下
CDH下载地址:
https://archive.cloudera.com/cdh6/6.0.1/parcels/,需要下载以下文件:CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcelCDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256manifest.json
- 1
- 2
- 3
- 4
以上三个文件放到/opt/cloudera/parcel-repo/目录下,如果没有此目录,可以自己手动创建。
此外在下面的官网介绍中:
https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cm_6_version_download.html
里面有
Cloudera Manager Release Notes
Cloudera Installation Guide
Gloudera Enterprise Upgrade Guide
RepositoriesType Location (baseurl) Repo FileRHEL 7 Compatible https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/ cloudera-manager.repo
- 1
- 2
- 3
如果想下载其它的软件rpm包,下载地址是:
https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/
3 阅读Introduction中的CDH
阅读以下章节
4 安装CDH 6.0.1集群
以下安装过程分别参考:http://www.cnblogs.com/piperck/p/9944469.html 和 官网
4.1 软件环境
操作系统
[root@hadoop15 ~]# uname -aLinux hadoop15 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux[root@hadoop15 ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core)
- 1
- 2
- 3
- 4
- 5
机器配置
要注意的是,不同角色的机器,内存可以配置不一样,一般做Master节点的机器所需要的内存要多一些
IP 内存 操作系统 角色192.168.106.155 12G Centos7.4 Server + agent192.168.106.156 9G Centos7.4 Agent192.168.106.157 8G Centos7.4 Agent 192.168.106.151 1.5G Centos7.4 mysql
- 1
- 2
- 3
- 4
- 5
4.2 安装CDH 的准备工作
4.2.1 安装wget
yum -y install wget
- 1
4.2.2 更新安装vim,安装vim增强包
yum -y install vim-enhanced
- 1
4.2.3 配置host和hostname
官网介绍:
配置域名相关,因为只有三台机器组集群,所以直接使用了hosts的方法,参考官网地址可以是:https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_network_names.html
1.配置在集群中的每个节点的host
A:105机器[root@hadoop15 ~]# hostnamectl set-hostname cdh1B:106机器[root@localhost ~]# hostnamectl set-hostname cdh2C:107机器[root@localhost ~]# hostnamectl set-hostname cdh3
- 1
- 2
- 3
- 4
- 5
- 6
检查hostname
[root@hadoop15 ~]# hostnamecdh1[root@localhost ~]# hostnamecdh2[root@localhost ~]# hostnamecdh2
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
2、编辑/etc/hosts
参考网址:https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_network_names.html,三台机器配置成下面相同的配置:
[root@localhost etc]# cat /etc/hosts192.168.106.155 cdh1192.168.106.156 cdh2192.168.106.157 cdh3
- 1
- 2
- 3
- 4
3、编辑/etc/sysconfig/network
参考地址:https://www.cloudera.com/documentation/enterprise/6/6.0/topics/configure_network_names.html
[root@localhost ~]# vim /etc/sysconfig/network[root@localhost ~]# cat /etc/sysconfig/networkHOSTNAME=cdh1[root@localhost ~]# vim