CDH
文章平均质量分 76
Junjie_M
这个作者很懒,什么都没留下…
展开
-
离线升级Cloudera Manager(CM)和Cloudera Data Hub(CDH)
升级Cloudera Manager(CM)管理界面点击“主机”,点击“重新运行主机升级向导”,添加Httpd的url路径,如:http://192.168.1.201/cm/5.2.0。升级Cloudera Data Hub(CDH)管理界面点击右上角像礼物包一样的图标,在右侧点击“编辑设置”,在“远程Parcel存储库URL”中添加http://192.168.1.201/原创 2015-01-12 12:38:34 · 3612 阅读 · 0 评论 -
CDH 5.2中Impala认证集成LDAP和Kerberos
这是一篇翻译的文章,原文为 New in CDH 5.2: Impala Authentication with LDAP and Kerberos。由于翻译水平有限,难免会一些翻译不准确的地方,欢迎指正!Impala 认证现在可以通过 LDAP 和 Kerberos 联合使用来解决。下文来解释为什么和怎样解决。Impala,是基于 Apache Hadoop 的一个开源的转载 2015-02-03 12:39:18 · 2103 阅读 · 0 评论 -
Hadoop配置LDAP集成Kerberos
本文主要记录 cdh hadoop 集群集成 ldap 的过程,这里 ldap 安装的是 OpenLDAP 。LDAP 用来做账号管理,Kerberos作为认证。授权一般来说是由应用来决定的,通过在 LDAP 数据库中配置一些属性可以让应用程序来进行授权判断。关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证。参考 使转载 2015-02-03 12:37:45 · 4844 阅读 · 0 评论 -
【配置CDH和管理服务】关闭DataNode前HDFS的调优
配置CDH和管理服务关闭DataNode前HDFS的调优角色要求:配置员、集群管理员、完全管理员 当一个DataNode关闭,NameNode确保每一个DataNode中的每一个块根据复制系数(the replication factor)跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下,一个DataNode有成千上万个块,关闭后集群间还原备份数可能翻译 2015-01-16 11:06:47 · 6306 阅读 · 0 评论 -
Zookeeper配置Kerberos认证
关于 Hadoop 集群上配置 kerberos 以及 ldap 的过程请参考本博客以下文章:HDFS配置Kerberos认证YARN配置Kerberos认证Hive配置Kerberos认证Impala配置Kerberos认证Hadoop配置LDAP集成Kerberos参考 使用yum安装CDH Hadoop集群 安装 hadoop 集群,集群包括三个节点,每个节点的ip、主机名和转载 2015-02-03 12:36:28 · 14002 阅读 · 2 评论 -
YARN配置Kerberos认证
关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证。请先完成 HDFS 配置 Kerberos 认证,再来配置 YARN 集成 Kerberos 认证 !参考 使用yum安装CDH Hadoop集群 安装 hadoop 集群,集群包括三个节点,每个节点的ip、主机名和部署的组件分配如下:192.168.56转载 2015-02-03 12:33:09 · 4050 阅读 · 0 评论 -
Impala和Hive集成Sentry
本文主要记录 CDH 5.2 Hadoop 集群中配置 Impala 和 Hive 集成 Sentry 的过程,包括 Sentry 的安装、配置以及和 Impala、Hive 集成后的测试。使用 Sentry 来管理集群的权限,需要先在集群上配置好 Kerberos。关于 Hadoop 集群上配置 kerberos 以及 ldap 的过程请参考本博客以下文章:HDFS配置K转载 2015-02-03 12:38:22 · 5685 阅读 · 0 评论 -
HDFS配置Kerberos认证
本文转自:http://blog.javachen.com/本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程,包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意:下面第一、二部分内容,摘抄自《Hadoop的kerberos的实践部署》,主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个转载 2015-02-03 12:30:58 · 1631 阅读 · 0 评论 -
Hadoop集群部署权限总结
这是一篇总结的文章,主要介绍 Hadoop 集群快速部署权限的步骤以及一些注意事项,包括 Hadoop 各个组件集成 kerberos、openldap 和 sentry 的过程。如果你想了解详细的过程,请参考本博客中其他的文章。1. 开始之前hadoop 集群一共有三个节点,每个节点的 ip、hostname、角色如下:192.168.56.121 cdh1 NameNo转载 2015-02-03 12:39:59 · 1611 阅读 · 0 评论 -
Impala配置Kerberos认证
关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证。关于 Kerberos 的安装和 YARN 配置 kerberos 认证,请参考 YARN配置kerberos认证。关于 Kerberos 的安装和 Hive 配置 kerberos 认证,请参考 Hive配置kerberos认证。请先完成 HDFS 、Y转载 2015-02-03 12:35:47 · 5742 阅读 · 0 评论 -
Hive配置Kerberos认证
关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证。关于 Kerberos 的安装和 YARN 配置 kerberos 认证,请参考 YARN配置kerberos认证。请先完成 HDFS 和 YARN 配置 Kerberos 认证,再来配置 Hive 集成 Kerberos 认证 !参考 使用yum安装转载 2015-02-03 12:34:57 · 14763 阅读 · 1 评论 -
Cloudera Manager的备份和灾难恢复
注:只有Cloudera Manager企业版才有Cloudera Manager的备份和灾难恢复功能一、 概述Cloudera Manager提供了一个集成的、易于使用的管理解决方案,使数据保护在Hadoop的平台。Cloudera Manager提供了丰富的功能旨在复制存储在HDFS数据和通过Hive跨数据中心的灾难恢复场景。当关键数据存储在HDFS,Cloudera Mana原创 2015-01-13 10:29:11 · 7504 阅读 · 2 评论 -
重装CDH遇到的几个问题
1、HDFS启动失败原因:dfs目录下数据版本是老的。操作:删除dfs目录,重新初始化新的目录。2、Hbase Master启动失败原因:zookper 链接信息过期了。操作:进入zookeeper控制台:.../zookeeper/bin/zkCli.sh,查看目录:ls /,然后删除hbase目录:rmr /hbase,重启zk和hbase。原创 2015-01-12 12:30:28 · 1488 阅读 · 0 评论 -
卸载Cloudera Manager(CM)和Cloudera Data Hub(CDH)
1、先在Manage管理端移除所有服务。2、删除Manager Server在Manager节点运行$ sudo /usr/share/cmf/uninstall-cloudera-manager.sh如果没有该脚本,则可以手动删除,先停止服务:sudo service cloudera-scm-server stop sudo service cloud原创 2015-01-12 12:24:12 · 1835 阅读 · 0 评论 -
YARN动态资源池配置案例
EDH作为统一的企业级数据中心,往往是一个多租户的应用环境。在该环境中,不同用户会同时使用集群资源。如何保证用户数据不被任意篡改?如何保证任务的权限控制 (例如用户A不能任性地取消用户B的任务)?如何确保用户资源使用不超过他们的配额?1. 开启HDFS权限检查 (默认是开启的)"Check HDFS Permissions"选中2.转载 2015-04-08 09:17:03 · 5863 阅读 · 0 评论