clouderamanger
关注
分享
扫一扫
文章平均质量分 60
javastart
专注于大数据 AI
展开
-
如何通过CM迁移Zookeeper服务
在迁移前需要确保目标服务器已加入被Cloudera Manager管理，cdh04节点已在Fayson的集群中，这里就不在描述如何将节点加入集群了，可以参考Fayson前面的文章《如何为Kerberos环境的CDH集群在线扩容数据节点》、《如何在非Kerberos环境下对CDH进行扩容》、《如何Redhat7的CDH集群中扩容增加Redhat6的节点》。2.ZK服务的迁移，其实就是将待迁移节点的ZK服务停止并删除，在新节点上添加一个ZK服务即可。首先确认Zookeeper服务迁移的目标。原创 2022-10-14 09:47:51 · 659 阅读 · 0 评论 -
在有Sentry控制下的CDH中部署Hive的UDF
在有Sentry控制下的CDH中部署Hive的UDF原创 2022-07-01 18:17:44 · 233 阅读 · 0 评论 -
HDFS HA namenode 迁移资料汇总
近期在在测试namednode 迁移方案，开始不清楚怎样迁移，就自己猜想直接删除namenode 和停止zkfc,结果看了一些资料，进行恢复，收集汇总在一起方便以后使用。其实cdh 可以采用直接迁移角色的方式进行https://blog.csdn.net/hadoop_sc/article/details/103561984https://www.cnblogs.com/alannever/p/14015784.html...原创 2021-08-11 18:00:32 · 225 阅读 · 0 评论 -
迁移 Cloudera Manager 节点 ，迁移Cloudera Scm Server端
目录1.迁移节点信息：212 -> 442.压缩存储目录，备份SCMServer数据3.在新服务器安装server端4.修改 cloudera-scm-server 配置文件5.解压恢复备份数据到新服务器指定配置的目录中6.修改所有agent节点的配置文件内容7.迁移ClouderaManagementService节点8.停止原有的server端与所有agent端，并启动新服务器的server端9.登陆新的ClouderaManager地址1...转载 2021-04-09 18:15:11 · 596 阅读 · 0 评论 -
0661-6.2.0-Hadoop数据备份与恢复
1 文档编写目的在Hadoop集群中，数据文件是以Block的方式存储在HDFS上，而HDFS上数据的名称，副本存储的地址等都是通过NameNode上的元数据来保存的。Hive的数据库和表的数据也是保存在HDFS中，而Hive的元数据metastore则保存在关系型数据库中。这些文件和数据如果丢失或者损坏，都会导致相应的服务不可用，Hadoop集群可以启用某些组件和服务的高可用或者备份，来应对可能出现数据损坏问题。但是在集群需要迁移，集群需要扩容或者缩容，或者其他情况，集群可能会面对数据安全风险的时候，转载 2020-11-13 16:33:03 · 746 阅读 · 0 评论 -
hive整合sentry，impala，hue之后权限管理操作
原文链接：http://www.cnblogs.com/gxc2015/p/9597270.html版权7.Hive授权参考(开启sentry之后,对用户授权用不了,只能针对用户组，grant role testrole to user xxxxxxx; )7.1：角色创建和删除create role star_read;drop role star_read;grant role star_read to group star_read;7.2：角色授权和取消授...转载 2020-09-08 17:35:29 · 470 阅读 · 0 评论 -
CDH 配置 Sentry 服务
1. 启用Sentry服务前 设置 Hive Warehouse 目录权限 要点：启用 HDFS / Sentry同步无需在Hive仓库目录上显式设置权限。启用同步后，所有 Hive 数据库和表在HDFS底层文件系统上都归属 hive : hive 。 Sentry 会把表的权限自动转换为 HDFS 底层文件的 ACL。 Hive的仓库目录 /user/hive/warehouse 或者在 hive-site.xml 中指定的 hive.metastore.warehouse.dir ...转载 2020-09-08 10:50:50 · 863 阅读 · 0 评论 -
0591-5.16.1-如何通过CM的API 获取集群告警信息
文档说明当集群中的服务有故障时，CM的界面上可以直接显示告警，你也可以通过CM的API去获取这些信息，本篇文章主要介绍CM的界面告警事件以及如何使用CM提供的API获取集群的告警信息内容概述1.文档说明2.告警介绍3.事件告警REST API测试环境1.CM和CDH版本为CDH 5.16.12.操作系统版本为RedHat 7.22告警介绍在Cloudera ...转载 2020-04-22 17:25:16 · 794 阅读 · 0 评论 -
671-6.2.0-如何将CDH5.12的Hive元数据迁移到CDH6.2
1文档编写目的这里我们假定一个场景，你需要迁移CDH5.12到CDH6.2，CDH5.12和CDH6.2分别是两个不同的集群，我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到CDH6.2，本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry，而只关注Hive元数据的迁移。这里的问题主要是CDH5.12的Hive为1.1，而CDH6.2中Hive已经...转载 2020-02-26 17:48:13 · 453 阅读 · 0 评论 -
CDH6.2中capacity队列的分配
CDH6.2中capacity队列的分配配置:yarn.scheduler.capacity.root.queues转载 2020-01-06 14:46:03 · 569 阅读 · 0 评论 -
CDH6.3.1安装详细步骤(感写B站若泽大数据)
0. 主机规划虚拟机主机 IP 资源(CPU/内存/硬盘) 所在ESXi(IP) Tools 192.168.1.30 04 Core/8 GB/10 TB 192.168.1.201 cdh-server01 192.168.1.31 32 Core/64 GB/3 TB 192.168.1.202 cdh-agent0...转载 2019-12-31 09:32:12 · 2930 阅读 · 0 评论 -
CDH集群中maptask的日志文件的位置整理
笨小葱这周写了一个读取hbase中的数据到map中的很简单的mr。然后放到cdh集群中跑了一下，结果出现了一系列问题。其中最重要的一个问题竟然是，笨小葱想去找我在mr程序中打的日志，竟然苦苦找不到。所以这里记录下笨小葱从头到尾的一个过程。1.打包运行mr这里笨小葱执行 hadoop jar xxx.jar时，报了一个错误:[java] view plai转载 2017-09-28 14:04:29 · 1854 阅读 · 1 评论 -
CM5（5.11.0）和CDH5（5.11.0）离线安装
CM5（5.11.0）和CDH5（5.11.0）离线安装概述文件下载系统环境搭建日志查看Q&A参考概述CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera M转载 2017-09-13 13:23:51 · 766 阅读 · 0 评论 -
Host Health Tests
DocumentationCloudera OperationCloudera Manager Health TestsNext TopicPrevious TopicPrintHost Health TestsHost Agent Log DirectoryThis is a host health test that checks that th转载 2016-05-11 16:01:34 · 6625 阅读 · 0 评论 -
CDH使用秘籍（二）：cloudera Manager中监控数据的存储
CDH使用秘籍（二）：cloudera Manager中监控数据的存储时间 2014-11-19 14:18:28 CSDN博客原文 http://blog.csdn.net/shifenglov/article/details/41281399主题 Cloudera概述上一篇文章分析了 cloudera manager 中监控数据、中心数据的存转载 2016-06-16 16:49:46 · 1614 阅读 · 1 评论 -
Cloudera Manager、CDH零基础入门、线路指导
Cloudera Manager、CDH零基础入门、线路指导2016-02-24 08:20 172人阅读 评论(0) 收藏 举报 分类：大数据（10） Cloudera Manager、CDH零基础入门、线路指导出处：http://www.aboutyun.com/thread-9219-1-1.html问题导读：1.什么是cl转载 2016-08-12 09:24:45 · 3099 阅读 · 0 评论 -
cdh5支持spark-sql cli怪招
cdh5支持spark-sql cli怪招2016年05月16日LeeNo commentsCDH5.7.0默认情况下是没有提供spark-sql cli的，我曾尝试用tarball以standalone模式部署过spark集群，都是自带spark-sql命令，于是就想到Copy Tarball里的spark-sql文件到$SPARK_HOME/bin目录下转载 2016-12-01 10:44:13 · 1072 阅读 · 3 评论 -
安装ubuntu14.04.2集群环境下的cloudera5.4.7+CDH5
一，虚拟机1，vSphere安装在服务器上裸装vSphere6.0.0，在本机windows安装vSphere Client2，ubuntu14.04单节点安装在vSphere上新建1台虚拟机。之后安装ubuntu14.04完成后，注意将光驱配置修改为“客户端”配置，之后按enter继续完成ubuntu的安装。进入系统后，修改/etc/network/inter转载 2016-11-24 11:27:16 · 626 阅读 · 0 评论 -
cloudera manager下的hive权限配置
cloudera manager下的hive权限配置标签： 大数据hive权限2016-09-05 11:11 138人阅读 评论(0) 收藏 举报 分类：批量:Hive/Spark/Hbas（58） 目录(?)[+]公司运营、BI以及财务不同部门不同人员需要Hive数据查询服务，所以需要分配不同的权限给相关人员权转载 2017-01-20 16:14:21 · 3735 阅读 · 0 评论 -
spark2.0 部署到clouderamanager5.7 以上
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html#packaging转载 2017-02-22 09:10:35 · 2127 阅读 · 0 评论 -
cloudermanger 管理监控问题Bug
Operating System Known IssuesRandom JVM Hangs on RHEL 6.6 (Kernels 3.14-3.17)User Java processes—HBase RegionServers, HDFS DataNodes—can deadlock and hang for no apparent reason.Symptom:原创 2016-06-21 11:02:38 · 950 阅读 · 0 评论 -
如何利用Cloudera Manager来手动安装parcel包
如何利用Cloudera Manager来手动安装parcel包1、问题的描述： 当你利用Cloudera Manager部署了CDH的集群后，也许随着你的业务需求，你需要对你的就去哪做一些优化，或者扩展之类的，这个时候你可能需要下载安装一些组件。例如，我最近在阅读Cloudera 官方文档的是，看到有一节的内容说到Performance Management转载 2017-08-21 15:00:53 · 977 阅读 · 0 评论 -
CDH5.7.2离线部署笔记
[日期：2016-08-04]来源：Linux社区 作者：dolittle[字体：大 中 小]1、部署基本信息说明：1.1、主机信息操作系统：选择CentOS6.7 x86-64版本MEM：64GB，CPU: E5-2630 v3 @ 2.40GHz, DISK:2TB*4(数据节点存储，操作系统除外）主机信息：主机名转载 2017-09-13 11:45:41 · 474 阅读 · 0 评论 -
clouderamagner 中hue 工作流调用sqoop1 问题处理
处理sqoop 执行每次输入密码问题 1.在clouderamagner sqoop1 的配置文件进行同步2.将worker5 上执行提示找不到mysql jdbc 驱动 3.在worker5 将mysql jdbc 驱动复制到目录下/usr/share/java原创 2016-01-14 11:00:23 · 3919 阅读 · 0 评论