0、前期准备工作
前提条件:
1、下载相关的CM/CDH/ Postgresql软件包,同时主机安装ssh/apache/ftp等日常软件。
2、制作本地yum源,并能通过http正常访问。
/var/www/html/下面
3、关闭所有主机的IPTABLES
4、配置CM主机到所有节点的ssh信任关系,允许CM主机可以直接ssh到目标主机上;
5、修改内核参数
6、操作系统/var、/opt空间要大,一般分配50G就可以,用来安装CDH
7、除操作系统盘采用Mirror以外,其它盘均采用独立的磁盘,中间不做任务保护措施,并让所有的盘通过文件系统的方式挂载到操作系统层面。
建议直接对盘采用fdisk/mkfs.ext4/mount即可,不要采用LVM;
一、安装CM
1、下载相关软件到指定目录中如:CM5/CDH5/ Postgresql
2、制作yum本地源
3、安装CM
下面开始进行CM的安装
chmod +x cloudera-manager-installer.bin
./cloudera-manager-installer.bin --skip_repo_package=1
二、安装CDH与组件
通过CM界面中增加cluster即可。
填加组件可以通过增加service的方式增加,CM会自动给所有节点进行动态增加。
三、升级CDH
CDH5.0.0升级到CDH5.0.3
1、先下载软件包并上传到服务器上;
2、创建本地的YUM源,并通过http://IP可以正常访问;
3、配置/etc/yum.repos.d/repos.repos文件,并加载进去;
通过yum repolist进行相看。
4、登录CM控制台,通过Parcels选项菜单,选择edit setting设置新版本的YUM源地址,选择Parcels,输入入Remote Parcel Repository
然后返回到Parcels界面,先下载,再分发,然后再安装即可。
5、验证测试。
四、升级CDM
1、先停止服务
2、再升级
3、再启服务
执行如下命令升级:
$ sudo yum clean all
$ sudo yum upgrade 'cloudera-*'
$ rpm -qa 'cloudera-manager-*'
cloudera-manager-agent-5.0.2-0.cm5.p0.932.el6.x86_64
cloudera-manager-server-5.0.2-0.cm5.p0.932.el6.x86_64
cloudera-manager-daemons-5.0.2-0.cm5.p0.932.el6.x86_64
Start the Cloudera Manager Server(启服务)
$ sudo service cloudera-scm-server-db start
$ sudo service cloudera-scm-server start
具体参考官网:
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Installation-Guide/Cloudera-Manager-Installation-Guide.html#../Cloudera-Manager-Administration-Guide/cm5ag_upgrade_cm4_to_cm5.html