cdh集群管理
文章平均质量分 71
江畔独步
这个作者很懒,什么都没留下…
展开
-
CDH6.3.3 paywall版之前自定义http服务器放置parcels安装数据
当前大数据集群的工具选型上, 巨头们都是自研大数据工具, 中小微企业都是开源大数据组件搭积木, 中间层级的厂商或买商业软件(MaxCompute/腾讯云/华为云)或在CDH基础上再集成商业套件(Dataphin之类).cloudera公司是在2021年2月份启动付费墙后, 之前无论是cdh集群官网archive资源, 还是通过yum方式安装cdh组件, 均会被付费墙拦截, 需要缴费后拿到下载账户才可以执行下载操作.再次之前安装和添加新节点都是没有问题的.如果现在有个需求, 需要将新采购的3台服务器,原创 2021-11-09 18:30:14 · 3159 阅读 · 0 评论 -
CDH5.x集群在新节点上分配角色
以下以Hadoop集群加入3台新节点为例,说明如何在其上进行角色的分配.假如新节点的IP与hostname对应关系如下:编号IP主机名1111.111.111.111dn9.hadoop.com2111.111.111.112dn10.hadoop.com3111.111.111.113dn11.hadoop.com一. 添加角色1.进入Cloudera Manager主页.2.点击集群HDFS组件最右侧的倒三角图标, 之后点击菜单中的"实例"选项原创 2021-11-09 16:21:15 · 2147 阅读 · 0 评论 -
一些awesome网站
1、zabbix、ansible、nginx朱双印个人日志原创 2020-03-10 10:41:09 · 788 阅读 · 1 评论 -
大数据常用组件调优参数设置
HDFS①、dfs.datanode.max.locked.memory用于缓存的最大内存解释:这决定了一个DataNode将要用来被做HDFS缓存的内存的最大值。用ulimit –l可以用来查看DataNode节点的程序锁定内存的限制,用户需要增加这个值以适应这个配置的参数。当设置了这个值之后,请记住,你将需要内存中的空间做其他事,像DataNode和应用的JVM的堆栈和操作系统的页面缓...原创 2019-12-25 14:54:32 · 1251 阅读 · 0 评论 -
CDH6 cluster添加新节点
一、节点规划NOIPHOSTNAMEROLE111.11.11.11server11-11dn211.11.11.12server11-12dn二、安装前准备2.1 配置yum仓库Yum资源库配置目录位于/etc/yum.repos.d下:①、创建CM的yum资源库配置文件cloudera-repo.repo[cloudera-repo]...原创 2019-11-06 21:40:00 · 3610 阅读 · 0 评论 -
如何使用cdh5.x版本oozie的sharelib库
The internals of Oozie’s ShareLib have changed recently (reflected in CDH 5.0.0). Here’s what you need to know.In a previous blog post about one year ago, I explained how to use the Apache Oozie S转载 2017-10-10 10:11:36 · 1134 阅读 · 0 评论 -
【转】Cloudera Manager 中如何正确的下线节点
最低要求的角色:超级管理员(所谓超级管理员就是 admin)可以通过两种方式从集群中删除主机:使用 Cloudera Manager 删除;从集群 A 中删除主机,将其提供给由 Cloudera Manager 管理的其他集群;两种方法都会涉及退役主机(decommission)、删除角色(role)、删除托管服务软件(service),但最终都会保留数据目录。使用 Cloudera...转载 2018-12-20 22:09:39 · 1350 阅读 · 0 评论 -
centos7配置本地yum源、使用yum源
在某些软件集群的安装中(如CDH,以下构建均以此为例),由于qiang的原因、或本地不能访问外网等,可能无法通yum方式在线安装,这时候非常有必要在本地配置一个yum源,集群中server通过这个局域网的yum仓库在(ftp,http,nfs等方式)本地方便、快速的安装应用。查看Linux发行版本EL7中提供了一个全新的命令 hostnamectl,不仅可以用来设置hostname,还可以查看...原创 2019-01-29 16:58:00 · 16558 阅读 · 0 评论