集群维护
文章平均质量分 83
芹菜学长
一个p大点事儿都能发文章的人
展开
-
【Oozie】CDH集群的oozie手把手快速入门
背景在今天中午,本人快乐的干饭的时候,领导打电话过来询问oozie是个什么样的东西,能不能有个用例?在本人的理解里面,oozie主要是个调度工具。所以本篇为CDH集群的oozie的快速入门教程环境准备CDH集群一套CDH集群中集成了oozie和hue因为oozie整合进hue中界面化了,不像那种命令行提交的方式,要写很多繁杂的xml文件,所以本文就开始揭露,如何快速入门oozie新建一个调度任务本文使用一个pyspark作为调度用例:pyspark的代码如下,文件名为:pyspark_原创 2022-04-29 23:40:04 · 2296 阅读 · 1 评论 -
CDH集群重启
重启CDH集群首先在CDH集群的7180的端口,将cloudera的监控服务和整个集群都停掉,然后切换到命令行中,手动停止cloudera-scm-agent角色和cloudera-scm-server角色停掉集群停掉监控的服务在所有的集群节点上面执行以下命令(以下目录是我这边的环境,请对应自己的安装目录自行修改)cd /opt/cloudera-manager/cm-5.10....原创 2020-03-14 14:43:42 · 1872 阅读 · 0 评论 -
cloudera-scm-agent 已死,但 pid 文件存在
问题:cloudera-scm-agent已死,但pid文件存在背景: 公司因为周末停电,所以关闭了cloudera集群。这是启动集群的时候出现的问题定位错误的过程:首先查看cloudera-scm-server的日志,发现日志刷到出现7180端口的过程中有一个小小的Exception,似乎与图中的这个错误无关。但是最后这个cloudera的登录界面是可以成功上去的。然后就百度开始各种搜...原创 2019-07-01 14:53:23 · 3380 阅读 · 0 评论 -
Mismatched CDH versions: host has NONE but role expect 5 Options
今天重启集群的时候遇到了这个问题Mismatched CDH versions: host has NONE but role expect 5 Options然后百度查资料的时候发现有文章说是要删除系统里面的openjdk照着做时候,(要对名字记录一下,万一删除了之后,有问题的话,还能重新安装,我这里因为自己早就重新安装了jdk,并且已经写入配置文件了,所以我删除的时候问题不大),但是这个...原创 2019-08-27 14:24:33 · 1220 阅读 · 0 评论 -
Hue启动报错,address already in use
HUE 启动报错最近打开Cloudera Manager的时候,发现组件hue上有一个小感叹号:这个时候,不能慌,点击一下小问号,会出现一个弹窗,在弹窗的信息上点击越高stderr查看标准错误信息:在日志的最下方发现有个 address already in use的错误这个错误很常见,一般来说就是端口被占用了。然后我到hue的管理界面查看一下端口的地址。查看端口地址的操作步骤:1.点开...原创 2019-07-17 15:22:37 · 590 阅读 · 0 评论