本地源部署CDH 5.8.5集群(Centos6.8)

本文档详细介绍了如何在CentOS 6.8环境下,通过本地源部署CDH 5.8.5大数据集群。包括环境准备、NTP服务配置、MySQL安装、YUM源设置、jdbc驱动配置以及正式部署的步骤,特别提示了在mini安装CentOS时可能出现的问题和解决方案。
摘要由CSDN通过智能技术生成

1.环境说明

  • OS:CentOS release 6.8 (Final)
  • CDH: CDH 5.8.5
  • 3节点测试集群,32G内存,16核CPU,500G/SSD

2.安装文件下载

cm5.8.5-centos6.tar.gz:
http://archive.cloudera.com/cm5/repo-as-tarball/5.8.5/cm5.8.5-centos6.tar.gz

Parcels找对应el7的版本:
http://archive.cloudera.com/cdh5/parcels/5.8.5/
CDH-5.8.5-1.cdh5.8.5.p0.5-el6.parcel  
CDH-5.8.5-1.cdh5.8.5.p0.5-el6.parcel.sha.1 
manifest.json

3.配置预安装环境(所有节点都执行)

1.部署JDK(采用的是rpm包安装,安装在默认位置,自动配置环境变量,脚本默认去该目录找JAVA)
   	rpm -ivh jdk-8u221-linux-x64.rpm
   配置JAVA_HOMM
   	export JAVA_HOME=/usr/java/latest
   	
2.配置hosts映射(cdh11是主节点)
   	 vi /etc/hosts	
   在文件末尾追加配置
   	192.168.11.11 cdh11
   	192.168.11.12 cdh12
   	192.168.11.13 cdh13
   	
3.禁用SELinux
   	 vi /etc/selinux/config
   修改SELINUX=disabled
   
4.关闭防火墙,禁止开机启动
   	service iptables stop
   	chkconfig iptables off
   	
5.设置SWAP 末尾增加1行(vm.swappiness = 10)
   	vi /etc/sysctl.conf 
   	vm.swappiness = 10
6. 检查是否生效
   	sysctl -p
7. 关闭透明大页面
   	echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
   	echo never >/sys/kernel/mm/redhat_transparent_hugepage/enabled
   	
   所有节点 /etc/rc.d/rc.local脚本中增加如下代码,使其永久生效
   
   	if test -f/sys/kernel/mm/redhat_transparent_hugepage/enabled; then
   	   echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
   	fi
   	if test -f /sys/kernel/mm/redhat_transparent_hugepage/defrag; then
   	   echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
   	fi
   	赋予权限
   	chmod +x /etc/rc.d/rc.local		

4.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值