CDH
dinghua_xuexi
这个作者很懒,什么都没留下…
展开
-
CDH环境故障:linux jdk环境部署不规范导致部署spark2 gateway失败,spark2-submit无法执行
问题概述 在CDH中离线部署完spark2之后,执行spark2-submit命令测试部署的spark2是否可用,结果立即提示请安装spark gateway角色。说明我的spark2并未成功部署,或者它依赖的环境没有满足问题详情问题出现如图,在spark2集群页面,选择【部署客户端配置操作】一段时间后,部署崩溃!查看日志查看崩溃的日志,spark2部署的每个客户端有2份日志,1份stout,1份sterrstout日志sterr日...原创 2020-05-12 09:17:29 · 904 阅读 · 0 评论 -
CDH环境故障: HDFS各服务进程状态未知,监控指标图表无数据
导语 cdh是管理大数据组件的利器,他能帮助我们很好的监控管理各大数据进程服务。但在我们使用的过程中,不小心,也会遇到一些问题。这时需要我们想办法去解决它。 本篇主要记录我遇到的一个CDH平台问题,就是突然有一天,我的大数据组件服务启动后,各进程显示灰色的问号图标,并提示运行状态未知。并且监控图标全都无法显示 以为是...原创 2020-05-04 09:59:18 · 4587 阅读 · 0 评论 -
Linux环境搭建:NTP时间同步
导语 大数据有不少分布式组件,是需要各个节点保持时间同步的,比如hbase,cdh管理平台等。本文重点介绍centos7环境下,ntp服务的搭建。核心过程 需要做时间同步的各个节点,选取一台作为主节点,其他从节点都向这台主节点做时间同步,而主节点向网络标准时间做同步。详细步骤各节点安装ntp,ntpdate服务执行如下两个命令[roo...原创 2020-05-03 12:18:26 · 881 阅读 · 0 评论 -
CDH启动DataNode失败
搭建完CDH集群后,发现有一个DataNode启动后马上又挂掉,反复几次都是如此,查看角色日志java.net.BindException: Problem binding to [cdh01:50020] java.net.BindException: Address already in use; For more details see: http://wiki.apache.org...原创 2020-05-03 16:02:40 · 1190 阅读 · 0 评论