![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
CDH篇
流一恩典
这个作者很懒,什么都没留下…
展开
-
cm邮箱报警配置
此文主要简单介绍在cloudermanager中配置邮件报警,使用163邮箱向qq邮箱发送信息进行测试。1、首先对网易云邮箱进行配置之后手机扫码,成功后会出现下图:这个授权密码一定要保存好。2、CM配置保存,重启3、Test表明邮箱报警配置ok....原创 2020-04-26 16:30:21 · 863 阅读 · 0 评论 -
cdh离线安装部署
cdh安装准备环境的博文请参考:https://mp.csdn.net/console/editor/html/105581435CM离线部署: serveragent[root@mycluster001 cdh5.16.2]# mv cloudera-manager-centos7-cm5.16.2_x86_64.tar.gz /tmp/[root@mycluste...原创 2020-04-18 18:00:50 · 1537 阅读 · 0 评论 -
CDH搭建大数据集群环境准备-阿里云主机
1、阿里云官网登录,购买ecs云服务器 www.aliyun.com/ 如果你是新用户,需要注册,之后充值100购买ecs服务器我们可以看到公网和内网IP,将公网IP配置笔记本上的hosts文件,地址自己去找吧,这里不说了,我配置后的结果:这里顺便说下停止ecs服务器2、配置远程连接 我这里使...原创 2020-04-18 13:25:47 · 1776 阅读 · 3 评论 -
cdh之大数据集群规划
在搭建大数据集群之前,对大数据集群的有效规划是非常重要的一件事,所以此篇博文主要介绍集群节点规划。 假如公司测试环境有5台机器,生产环境100台机器,配置如下:MyCluster001: mysql cm-server cm-agentMyCluster002: cm-agent nn rmMyCluster003: cm-agent nn rmMyCl...原创 2020-04-17 15:22:30 · 2133 阅读 · 0 评论 -
cdh部署方式浅析
众所周知,现在大数据的公司都会采用Cloudermanager公司的cdh来搭建大数据的平台,既可以有效避免大数据组件之间的兼容问题,又可以节省大数据平台维护的成本。所以接下来谈下cdh的部署方式及优劣之分。1、官网部署页面打开方式1)www.cloudera.com2)www.cloudera.com--->https://docs.cloudera.com/in...原创 2020-04-17 10:57:13 · 514 阅读 · 0 评论 -
在CDH集群中禁用HDFS的HA
本篇文章主要讲述如何使用Cloudera Manager禁用HDFS HA。关于如何开启HA,请参考:https://blog.csdn.net/czz1141979570/article/details/86805598 1.禁用HDFS HA1.使用管理员用户登录Cloudera Manager的Web管理界面,进入HDFS服务2.点击“禁用High Avaia...原创 2019-02-09 14:07:51 · 999 阅读 · 0 评论 -
在CDH集群中启用HDFS的HA
在HDFS集群中NameNode存在单点故障(SPOF),对于只有一个NameNode的集群,如果NameNode机器出现意外,将导致整个集群无法使用。为了解决NameNode单点故障的问题,Hadoop给出了HDFS的高可用HA方案,HDFS集群由两个NameNode组成,一个处于Active状态,另一个处于Standby状态。 Active NameNode可对外提供服务...原创 2019-02-09 13:52:40 · 2217 阅读 · 0 评论 -
CDH简单介绍及体系架构
1、官网介绍: CDH是Cloudera的100%开源平台发行版,包括Apache Hadoop,专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成,Cloudera创建了一个功能先进的系统,可帮助您执行端到端的大数据工作流程。 简单来说:CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件)...原创 2019-01-26 14:32:08 · 67622 阅读 · 1 评论 -
史上最全cdh安装详细教程
此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出.这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设:>>操作系统版本: centos 6.8>>MySQL数据库版本: 5.6.24>>CM版本: CM 5.12.1>>CDH版本: CDH 5.12.1&...原创 2019-01-27 21:17:25 · 37202 阅读 · 7 评论 -
安装CDH过程中所遇到的问题整理
问题一: Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://CDH101/?useUnicode=true&characterEncoding=UTF-8'java.sql.SQLException: Access denied for user 'r...原创 2019-01-30 11:33:35 · 1141 阅读 · 3 评论 -
在CDH集群中使用HDFS快照
HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过快照找回原来的文件和目录结构,那么在CDH集群中如何使用HDFS的快照功能呢?本博文主要讲述如何在CDH中使用HDFS的快照功能,包括全量快照和增量快照和恢复。1、启用快照1)登录CM的Web界面,点击HDFS服务2)点击菜单栏中的“文件浏览器”3)选择需要创建快照的目录,创建...原创 2019-02-09 12:56:09 · 1080 阅读 · 0 评论