当前搜索:

CDH问题及维护汇总

目录:一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错误————————————————————————————————————————————一、HIVE错误错误01命令详细信息: 创建 Hive Metastore 数据库表 解决办法: cp -r /var/lib/hive/mysql-con...
阅读(1471) 评论(0)

CDH启动和日志查看

目录:cdh集群启动cdh集群Linux日志查看cdh集群管理界面日志查看——————————————————————————————————cdh集群启动备注:公司CDH集群为CDH-5.7.1版本1)登录Master机器 执行命令: /opt/cm-5.7.1/etc/init.d/cloudera-scm-server start2)登录集群所有agent机器 执行命令: /opt/c...
阅读(917) 评论(0)

CDH集群迁移

目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:http://blog.csdn.net/silentwolfyh/article/details/54893826二:hdfs数据迁移准备工作 1、新集群搭建完毕 2、新老机器所有yarn节点可以ping通 3、命令,在老集...
阅读(1033) 评论(0)

CDH安装和维护

目录:1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见问题————————————————————————————————————–1、安装文件准备CDH下载地址:http://archive.cloudera.com/cdh5/parcels/latest/下载操作系统对应的版本:1.CDH...
阅读(1123) 评论(0)

kakfa的维护:Brock停止

错误1:kakfa的Brock停止org.apache.spark.SparkException: Couldn’t find leader offsets for Set()原因:1、TopicName复制数Replication为1; 2、TopicName的Partitions一部分落在Brock上面,而这个Brock没有复制数,导致Partitions丢失...
阅读(646) 评论(0)

yarn资源的任务队列

需求:1、让不同的application任务,在不同的队列中运行任务2、这些队列是并行执行的,相互不干扰目录:1、队列的配置2、队列运行命令3、队列运行展现1、队列的配置2、队列运行命令3、队列运行展现...
阅读(2411) 评论(0)

hdfs空间不足的优化

目录:1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1)将默认的备份数3设置为2。 步鄹:CDH–>HDFS–>配置–>复制因子–>设置为2 2)执行命令:...
阅读(2226) 评论(0)

HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复       和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在Name...
阅读(723) 评论(0)

kakfa的维护:kafka manager安装

项目信息 https://github.com/yahoo/kafka-manager 这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。 不过kafka-manager也没有权限管理功能。 Kafka web console的安装可以参考之前的b...
阅读(472) 评论(0)
    【个人简介】
    个人资料
    • 访问:430361次
    • 积分:7072
    • 等级:
    • 排名:第3659名
    • 原创:282篇
    • 转载:23篇
    • 译文:24篇
    • 评论:90条
    博客专栏