CDH6.2离线安装(史上最全安装文档)-Lyer整理版

1.CDH准备

CDH分为Cloudera Manager管理平台和CDH parcel(parcel包含各种组件的安装包)。这里采用CDH6.2.0。

小知识:官方下载地址现在增加了收费墙,现在CDH包不能再使用在线安装的方式,全部使用离线方式,离线要搭建自己的源,收费墙这个是有史以来最坑的地方,关于CDH资源包,现在都是自己网上找或者群内大家共享。

真实线上案例:增扩容节点,使用半离线方式,无自有源,因为收费墙问题,造成失败,没想到CDH官方21年增加收费墙。

资源目录如下:

CDH6.2.0安装包地址为:https://archive.cloudera.com/cdh6/6.2.0/parcels/

由于操作系统为CentOS7,需要下载以下文件:

 

上述文件整理资料百度云下载地址为:

链接: 百度网盘-链接不存在 提取码: mws3 (不一定能用,还是要靠你自己找,如果需要可后台联系)

说明:以下操作都是在root用户下进行的

2.安装

2.1 环境准备

2.1.1. 准备虚拟机(根据自己的系统资源分配虚拟机资源)

系统版本:centos7+

小知识:系统不要装乱七八糟的东西,RAID最好是0,增加读写性能,hadoop环境天生高可用,不用考虑硬盘损坏,反而使用RAID5的方式,磁盘损坏后,会影响整个集群性能。

真实线上案例:集群莫名降速,某节点磁盘损坏

2.1.2. 静态IP设置(每个节点)

vim /etc/sysconfig/network-scripts/ifcfg-eth0

service network restart 重启网络生效

yum install -y net-tools ifconfig查看设置

2.1.3. 编辑/etc/hosts文件(每个节点)

vim /etc/hosts

2.1.4. 关闭防火墙、禁止防火墙开机自启(每个节点)

  • systemctl stop firewalld 关闭防火墙
  • systemctl disable firewalld 禁止防火墙开机自启
  • vim /etc/selinux/config —> SELINUX=disabled (修改)

2.1.5. ssh无密码登录

  • manager节点执行ssh-keygen -t rsa 一路回车到结束,在/root/.ssh/下面会生成一个公钥文件id_rsa.pub
  • cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys
  • chmod 600 ~/.ssh/authorized_keys 修改权限
  • 将~/.ssh从当前节点分发到其他各个节点。如:scp -r ~/.ssh/ root@node1:~/.ssh/
  • ssh 各个节点互相登陆

2.1.6. 配置NTP服务(所有节点)

小知识:hadoop环境时间一致性特别重要

真实线上案例:虚拟机重启后,时间和其它节点不一致,各种组件问题。

  • 修改时区(改为中国标准时区)ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  • 安装ntp yum -y install ntp
  • ntp主机配置 vim /etc/ntp.conf
  • manager节点

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值