CDH 开始学习喽

在一般的公司中,为了部署方便集群,大家一般选择CDH,我们也是。也正是因为这样,所以一开始的时候大家可能会选择 All in One的策略,就是所有的服务都部署在一台机器里面,或许这台机器的配置只有2C 8GB内存,那么如果量大起来之后,我们是否可以进行扩容呢?

如果从网络上搜索, cdh 伪分布式扩展, 可能结果并不满意,所以只能自己撸袖子上了。

在这儿不打算长篇大论,只是某些感觉有意思的点写一下:

下面这张图片就是本来只有master,后来改成了三机版本。
这里写图片描述

  • 初始化的时候需要注意
    关防火墙
    关selinux
    主机名修改(/etc/sysconfig/network里面修改,假设改成了a,那么在/etc/hosts里面也要有 192.168.x.x a这一条目)
    时间同步,这个很重要,一般只需要 service ntpd restart; chkconfig ntpd on即可。

  • 有三个repo需要注意

    1. parcels,安装CDH的时候会用到
      https://archive.cloudera.com/cdh5/parcels/5.5/
    2. rpms for cdh5,这个是cdh仓库,里面安装一些组件,或者没有parcels,也可以单独从下面的地址安装,当然,这个我是做了repo的,本地的速度杠杠的
      https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.5.0/
    3. rpms for cm5,这个是manager,里面只有几个文件,也需要做成repo
      https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.5.0/RPMS/x86_64/
  • 一个bin文件开启安装过程
    https://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

  • repo的制作
    玩linux那么久,现在才知道有这么好用的命令 reposync, createrepo 两个命令可以使你具有自建的rpm仓库哦

  • cdh的安装
    通过bin安装完成后,在7180的端口,有http的站点,可以进行配置,默认账户admin和admin,第一次登陆的时候,会要求进行license accept以及部署主机,这个主机如果是伪分布式,那么就是自己了,通过放在本地/opt/cloudera/parcels-repo啥的下面放进去就可以了

  • cdh的扩容
    首先还是准备机器,然后在7180的管理界面上,把主机加入,其实就是安装clouder的agent客户端,这样就完了,稍后的扩容,其实是在集群>选择某个服务,进行添加节点进行扩容,如果是转移,在添加完成后删除之前的就可以了;如果是扩容NN,那么需要进入hdfs服务,然后选择HA操作。

  • 其他一些靓图欣赏
    这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值