CDH大数据笔记

 

 

1.启动cloudera-scm-agent命令

systemctl  start  cloudera-scm-agent

 

 

2.关闭cloudera-scm-agent命令

systemctl  stop cloudera-scm-agent

 

3.开机自动启动cloudera-scm-agent命令

systemctl  enable cloudera-scm-agent

 

4.禁止开机自动启动clouder-scm-agent命令

systemctl  disable  cloudera-scm-agent

 

5. sudo -u hdfs 是指以hdfs用户执行后面的命令

sudo -u hdfs hdfs dfs -chmod -R 777 /hdfs/data

 

6. hdfs的namenode  http访问端口配置属性名称:

dfs.namenode.http-address

cm管理后台查找路径如下图示所示:

 

 

 

7.  hdfs 管理维护命令 hdfs dfsadmin

显示帮助

hdfs dfsadmin -help

统计报告

hdfs dfsadmin -report

 

8. 查看 clouder-scm-server 与 clouser-scm-agent日志

clouder-scm-server日志路径如下: /var/log/cloudera-scm-server/cloudera-scm-server.log

clouder-scm-agent日志路径如下: /var/log/cloudera-scm-server/cloudera-scm-agentlog

查看clouder-scm-server日志命令如下:

tail -F  /var/log/cloudera-scm-server/cloudera-scm-server.log

查看clouder-scm-agent日志命令如下: 

tail -F  /var/log/cloudera-scm-agent/cloudera-scm-agent.log

如下图所示:

 

 

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
CDH大数据运维,也就是Cloudera的分布式数据平台运维。CDHCloudera公司基于Apache Hadoop开发的商业版分布式数据平台,主要用于存储和处理大规模数据。CDH大数据运维通常包括以下几个方面: 1. 集群部署和配置:CDH运维首先要进行集群的部署和配置,包括选择合适的硬件、安装操作系统、配置网络环境等。此外,还需要对CDH的各个组件进行适当的配置,如Hadoop、HBase、Impala等,以满足各种数据处理需求。 2. 资源管理和调度:CDH运维需要对集群中的资源进行管理和调度,以确保任务的顺利执行。这包括对CPU、内存、磁盘等资源的监控和分配,以及对任务的调度和优化。 3. 数据备份和恢复:CDH大数据运维还需要对存储在集群中的数据进行备份和恢复。这可以通过设置合适的数据备份策略和使用分布式文件系统来实现。当数据丢失或损坏时,可以快速恢复数据,确保数据的完整性和可靠性。 4. 性能优化:CDH大数据运维需要进行性能优化,以提高数据处理的效率和响应速度。这包括对集群中的各个组件进行调优和配置优化,以减少资源消耗和提高数据处理能力。 总之,CDH大数据运维是一个综合性的工作,需要对分布式数据平台进行部署、配置、资源管理、备份恢复和性能优化等方面的工作。它的目标是确保集群的稳定运行,保障数据的安全性和可用性,提高数据处理的效率和性能。CDH大数据运维对于企业来说非常重要,可以帮助他们更好地利用大数据进行业务决策和创新。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

成伟平2022

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值