cloudera
lianchaozhao
这个作者很懒,什么都没留下…
展开
-
cdh6.2.1+flink1.9+druid1.8搭建实践
1、CDH版本调研和相应依赖整理综述一般组件版本管理工具包含两种方式,第一种ambari 第二种为cloudra 两种各有优缺点,但立足公司实际情况,需要一种相对来说,比较稳定,并且易于管理监控更加方便,一般不用二次开发的集群。并且cloudera相对ambari市场占有率比较大解决方案相对比较成熟。因此决定采用cloudera manager 去监控管理公司的集群。版本选择Clouder...原创 2020-05-13 19:36:12 · 1019 阅读 · 0 评论 -
cloudra中 mapreduce.map.memory.mb 设置诡异(推荐设置问题)
诡异问题生产环境 mr 运行任务 map端和reduce 的运行内存都设置的为0为作业的每个 Map 任务分配的物理内存量(MiB)。对于早于 CDH 5.5 的版本,如果未指定内存量,则默认设置为 1024。对于 CDH 5.5 及更高版本,不支持小于 128 的值,但如果将其指定为 0,则可以通过 Map 任务的最大堆大小以及堆与容器的大小比值推断要请求的物理内存量。如果未指定 Map ...原创 2019-12-03 19:45:27 · 5060 阅读 · 0 评论 -
CDH 给root 用户赋值 超级权限 和 hive 赋值操作 详细
hive中查看用户权限‘由上可知hive 用户权限分配 一般可以通过两方面1、直接对不同的用户赋权。2、通过对hive中的角色赋权(一般可以通过hue)待补充...原创 2019-12-03 16:05:00 · 3751 阅读 · 0 评论 -
zeppelin 部署 遇到的坑
1、先上图spark的配置1、zeppelin-env.sh 荷叶面配置master不统一 找了很久 UI 配置 yarn-clientdatanode (nodemanger) 没有配置 相应路径没有 spark包环境 (解决统一 装spark Getway 然后卸掉 相应路径下有相应的包)...原创 2019-06-27 18:31:29 · 852 阅读 · 0 评论 -
cm 中hive 多实例 主备容错
hive metastore server 用于连接hive 的原数据信息(部署两个节点)官网解释(hive原数据和分区的访问都要通过metastore )hive 可以通过 Gate way 的 hive 命令访问元数据hive server2一个服务端接口,使远程客户端可以执行对Hive的查询并返回结果。目前基于Thrift RPC的实现是HiveServer的改进版本,并支持多客户...原创 2019-05-10 19:04:19 · 631 阅读 · 0 评论 -
clodera scm 数据库表信息 和 hive元数据整理
一、 cloudera 会将页面的数据存储到 SCM 中 其表结构梳理(对应生产BAOFOO_SCM)AUDITS登录信息、服务,角色重启、配置更改PROCESSES进程信息。这里面有很多信息。开放的web端口。HOSTS主机信息,包括IP地址,所在机架,内存,CPU等信息CLIENT_CONFIGS客户端配置,里面有下载客户端配置的路径。CONFIGS_AUD配置审计表。C...转载 2019-05-10 18:47:21 · 419 阅读 · 0 评论 -
cloudera Management service 启动失败
启动失败发现下日志agnet 日志中报编码错误的日志发现 /opt/cloudera/parcels有很多的 乱码文件将乱码文件删除 成功启动原创 2020-08-05 15:58:12 · 771 阅读 · 0 评论 -
cloudera 关闭hdfs 数据平衡
登录到hdfs 数据均衡的任务端ps -ef | grep balancer找到数据均衡的进程号然后 kill 掉即可kill -9 15308原创 2019-04-30 17:28:41 · 696 阅读 · 0 评论 -
cm 修改 cdh集群域名
背景公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新规划主机名称,便于维护环境centos 6.5 CDH 5.131.梳理修改相关IP与HostName对应关系和新域名与旧域名的对应关系2.cm 停止所有服务3 停止cm 大数据监控(所有节点)service cloudera-scm-agent stop#需要停止所有的agentservice cloud...原创 2020-08-05 15:57:18 · 286 阅读 · 0 评论 -
cm修改 cdh集群 ip
背景公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新分配机房ip,便于维护环境centos 6.5 CDH 5.131.梳理修改相关IP与HostName对应关系2.cm 停止所有服务3 停止cm 大数据监控(所有节点)service cloudera-scm-agent stop#需要停止所有的agentservice cloudera-scm-server ...原创 2019-08-09 12:38:59 · 177 阅读 · 0 评论 -
cloudera HiveServer2 备份安装
1在cloudera 中 选择 添加服务2选择 hiveserver2 要安装的主机3在 其已经安装有 hiveserver2的机子上安装 spark 客户端(一般cloudera 中我们会选择 hive on spark )4然后在启动已经安装好的 hiveserver2 的服务(注意先后顺序 ,先在其对应机子上安装 spark 客户端之后 再启动 hiveserver2 服务 否则会使...原创 2019-03-07 16:16:31 · 192 阅读 · 0 评论 -
linux 对特定 服务器 开放特定端口
在 spark ui 中出现某个端口不能访问的问题解决:由于跨内网外网安全问题技术选型为 ,部署一台window 系统 虚拟机(可以远程访问并且这个虚拟机和hodoop 集群属于同一内网)然后 在hadoop 集群的节点对这台虚拟机的 ip 开放指定端口命令为root 用户下vi /etc/sysconfig/iptables添加 (对192.168.0.125开放 8042端口...原创 2019-03-14 16:12:08 · 1384 阅读 · 0 评论 -
hive 锁机制 和问题解决
问题:某种表被频繁读写导致,表被锁住,使得任务一直被卡住。解决方式:1 排查锁被sql 占用显示的表级别和分区级别和 EXTENDED 解析那个表占用锁SHOW LOCKS <TABLE_NAME>;SHOW LOCKS <TABLE_NAME> EXTENDED;SHOW LOCKS <TABLE_NAME> PARTITION (&原创 2019-01-15 15:33:35 · 7419 阅读 · 1 评论 -
hadoop SWAP交换空间
swap的概念1、当内存不够用时,将存储器中的数据块从DRAM移到swap的磁盘空间中,以释放更多的空间给当前进程使用.2、当再次需要那些数据时,就可以将swap磁盘中的数据重新移到内存,而将那些不用的数据块从内存移到swap中.3、数据从内存移动交换区的行为被称为页面调用,发生在后台的页面调用没有来自应用程序的干涉.4、swap空间是分页的,每一页的大小和内存页的大小一样.5、并不是一...原创 2019-01-08 10:42:26 · 1843 阅读 · 0 评论 -
cloudera manager 服务节点由于防火墙问题不良与Cloudera Manager Server失去联系
问题不良 : 该主机已与 Cloudera Manager Server 建立联系。 该主机未与 Host Monitor 建立联系。原因由于防火墙配置错误 导致 CM agent 和 Cloudera Manager Server 长时间失去联系解决关闭防火墙 或改好防火墙 节点之间通讯在失去的节点 执行service cloudera-scm-agent restart(这个还...原创 2018-10-11 10:54:16 · 2151 阅读 · 0 评论