CDH运维
文章平均质量分 82
wulantian
做一个优秀的dba是我一直所追求的梦想!!!
展开
-
Cloudera Manager5及CDH5安装指导(终极在线安装)
Cloudera Manager5及CDH5安装指导(终极在线安装)-----存储,学习,共享问题导读:1.Cloudera Manager5安装需要哪些环境要求?2.哪些Linux系统上,可以安装Cloudera Manager5?3.在安装cdh的过程中,该如何选择版本?安装环境要求集群中的四台主机必须满足以下要求:主机必须至少有10 GB的RA转载 2014-11-26 12:49:21 · 21107 阅读 · 1 评论 -
CDH报错:Traceback (most recent call last): File "<string>", line 1, in <module> File "<string>"
Detecting Cloudera Manager Server...Detecting Cloudera Manager Server...BEGIN host -t PTR 192.168.1.198198.1.168.192.in-addr.arpa domain name pointer localhost.END (0)using localhost as scm转载 2015-06-12 08:17:57 · 70430 阅读 · 1 评论 -
WARN org.apache.hadoop.hdfs.servåer.namenode.FSNamesystem: Get corrupt file b
Hadoop运维笔记 之 Namenode异常停止后无法正常启动:存储,学习,共享。。。。公司在线上使用了CDH5 HA模式,有两个Namenode节点,结果其中的Standby节点因为一些关于edits文件的报错异常停止了,并且在启动的过程中一直报告找不到各种文件。刚开始怀疑问题可能只发生在Standby本身,因此尝试了bootstrapStandby转载 2015-06-23 10:40:15 · 6986 阅读 · 0 评论 -
CDH使用秘籍(二):cloudera Manager中监控数据的存储
CDH使用秘籍(二):cloudera Manager中监控数据的存储 概述上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式,怎样配置外部表等。这一篇文章进一步分析监控数据的存储,配置,调优等。Service Monitor 和 Host Monitor 角色在cloudera manager中存储了时间序列、健康数据、Impla查转载 2015-06-03 09:36:03 · 6750 阅读 · 0 评论 -
大数据:CDH和Cloudera Express的介绍
自学大数据:CDH和Cloudera Express的介绍 前言:在上一篇中,讲到了社区版和第三方分发版的Hadoop的一些比较。这一篇文章,主要谈谈CDH及其Cloudera Express(免费版Cloudera Manager)在商业应用中,需要考虑的关键因素,比如功能和license问题。仅供抛砖引玉,有不同意见,尽情讨论!CDH的介绍:转载 2015-06-03 09:32:40 · 19195 阅读 · 0 评论 -
CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库
CDH使用秘籍(一):Cloudera Manager和Managed Service的数据库 背景从业务发展需求,大数据平台需要使用spark作为机器学习、数据挖掘、实时计算等工作,所以决定使用Cloudera Manager5.2.0版本和CDH5。以前搭建过Cloudera Manager4.8.2和CDH4,在搭建Cloudera Manager5.转载 2015-06-03 09:35:39 · 6012 阅读 · 0 评论 -
CDH cm节点高可用方案
近期因工作需要,对CDHcm管理节点的高可用做了些相关的测试,测试大概分2部分。具体如下,希望有兴趣的同学可以多交流学习。 1. cm节点关于postgres数据库的备用节点高可用。 2. cm节点关于mysql数据库的备用节点高可用。测试需求:因线上cm管理节点是单点,一旦cm管理节点的服务器宕机,那么整个CDH集群的管理就受到影响。主要是不方便管理。如果熟悉相关的命令,原创 2015-06-18 11:48:29 · 13755 阅读 · 2 评论 -
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程
离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程存储,学习,共享关于CDH和Cloudera ManagerCDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多转载 2015-03-11 13:59:21 · 6758 阅读 · 0 评论 -
CDH5.X安装配置kerberos认证过程
//CDH安装配置kerberos认证过程---coco# by coco# 2014-12-23CDH-5.2.0-1.cdh5.2.0安装成功,已经运行了几个月了。现在把确实的认证安装配置上。下面是详细的安装配置过程,已经过程中遇到的问题解决办法。1. 背景在Hadoop1.0.0或者CDH3 版本之前, hadoop并不存在安全认证一说。默认集群内所有的节原创 2015-01-14 09:24:19 · 17474 阅读 · 6 评论 -
CDH5.X完全卸载步骤
//CDH5.X完全卸载步骤# by coco# 2015-01-141. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh [root@slave1 ~]# service cloude原创 2015-01-14 10:50:33 · 38817 阅读 · 0 评论 -
卸载 Cloudera CDH 5 beta2总结
问题导读:1.卸载Cloudera-Manager的命令是什么?2.cloudera的安装目录有哪些?3.如何删除 Cloudera Manager的lock file?操作的系统是Centos OS6.3操作需要root权限,先切换rootsudo su –复制代码1 卸载Cloudera-Manag转载 2015-01-08 10:26:48 · 8742 阅读 · 0 评论 -
解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
问题导读1.CM的安装目录在什么位置?2.hadoop配置文件在什么位置?3.Cloudera manager运行所需要的信息存在什么位置?4.CM结构和功能是什么?1. 相关目录/var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件(相关服务的及CM的)。/u转载 2014-11-26 13:09:22 · 2266 阅读 · 0 评论 -
卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】----存储,学习,共享问题导读:1.不同的安装方式,卸载方法存在什么区别?2.不同的操作系统,卸载 Cloudera Manager Server and 数据库有什么区别?重新安装不完整如果你来到这里,因为你的安装没有完成(例如,如果它是由一个虚拟机超时中断),和你想继续安装转载 2014-11-26 12:51:40 · 1746 阅读 · 0 评论 -
CDH hadoop-hdfs-fuse的安装使用
参考文档:http://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/cdh5ig_hdfs_mountable.html挂载HDFSCDH5包含一个HDFS的接口FUSE(用户空间文件系统),FUSE能让你写一个正常的用户空间应用程序作为一个传统文件系统接口。hadoop-hdfs-f原创 2017-05-08 15:18:55 · 3612 阅读 · 0 评论