北京小辉的博客

学习是一种享受,也是一种痛苦,更是一种回忆!!!

排序:
默认
按更新时间
按访问量
RSS订阅

CDH邮件报警配置(亲测)

cloudera manager提供邮箱警告功能,方便管理员在集群出现问题的第一时间维护集群。具体操作如下: 1.登录cloudera manager页面,进入cloudera manager service服务 2.点击配置,在搜索框中写入alert: 3.邮箱服务器密码的获取方法: ...

2019-01-20 20:39:39

阅读数:85

评论数:0

CDH5.13离线安装Spark2.1详细步骤

目录 一、简介: 二、安装准备 三、开始安装 一、简介: 在我的CDH5.14.4集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版...

2018-11-07 10:05:43

阅读数:198

评论数:0

CDH5.14 Impala的静态资源和动态资源设置

目录 1、静态资源和动态资源说明 2、静态资源设置 3、使用准入控制 4、设置每个查询的内存限制 5、创建动态资源池 6、关于放置规则 7、设置资源池上的权限控制 1、静态资源和动态资源说明 官网 https://www.cloudera.com/documentation...

2018-10-30 21:24:57

阅读数:276

评论数:0

CDH中Notebook的一些问题解决

目录: 1、重要事项说明 2、Notebook的配置 3、livy的配置 4、livy的版本问题 5、spark的版本问题 6、页面展示 7、参考文章 1、重要事项说明 1、cdh5.14默认的python版本为2.6.6, 一定要升级到2.7,方法如下:https://...

2018-10-25 17:24:01

阅读数:190

评论数:0

CDH问题及维护汇总

目录:一、HIVE错误二、HDFS错误三、oozie错误四、Kafka错误五、Hbase错误六、Yarn和CM错误七、维护及添加服务八、其他错误————————————————————————————————————————————一、HIVE错误错误01命令详细信息: 创建 Hive Metas...

2017-05-22 19:21:27

阅读数:4812

评论数:0

CDH启动和日志和组件lib包路径查看

目录:cdh集群启动cdh集群Linux日志查看cdh集群管理界面日志查看——————————————————————————————————cdh集群启动备注:公司CDH集群为CDH-5.7.1版本1)登录Master机器 执行命令: /opt/cm-5.7.1/etc/init.d/c...

2017-03-02 12:58:56

阅读数:5099

评论数:0

CDH集群迁移

目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:http://blog.csdn.net/silentwolfyh/article/details/54893826二:hdfs...

2017-02-06 16:06:09

阅读数:2010

评论数:0

CDH5.14安装指南和维护(亲自搭建好多次)

目录:1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见问题————————————————————————————————————–1、安装文件准备CDH下载地址:http://archiv...

2017-02-06 15:56:54

阅读数:3009

评论数:0

kakfa的维护:Brock停止

错误1:kakfa的Brock停止org.apache.spark.SparkException: Couldn’t find leader offsets for Set()原因:1、TopicName复制数Replication为1; 2、TopicName的Partitions一部分落在B...

2017-01-04 13:26:18

阅读数:888

评论数:0

CDH动态资源池--yarn资源的任务队列

需求:1、让不同的application任务,在不同的队列中运行任务2、这些队列是并行执行的,相互不干扰目录:1、队列的配置2、队列运行命令3、队列运行展现1、队列的配置2、队列运行命令3、队列运行展现

2017-01-03 16:36:22

阅读数:6348

评论数:0

hdfs空间不足的优化

目录:1、将HDFS备份数降低2、删除无用HDFS数据和Hbase表格3、设置kafka的日志时间4、删除本机无用文件5、清理Trash回收站6、Balancer重新平衡————————————————————————————————————————————————1、将备份数降低 1)将默认的...

2017-01-03 16:25:12

阅读数:5613

评论数:0

HDFS 的Trash回收站功能的配置、使用

文件的删除和恢复       和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自动的把...

2016-12-28 11:40:29

阅读数:2454

评论数:0

kakfa的维护:kafka manager安装

项目信息 https://github.com/yahoo/kafka-manager 这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。 不过kafka-m...

2016-05-26 11:24:31

阅读数:1053

评论数:0

提示
确定要删除当前文章?
取消 删除