CDH各组件

CDH| Spark升级
摘要：升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布 阅读全文
posted @ 2020-04-22 11:55 kris12 阅读(637) 评论(0) 推荐(0) 编辑
CDH| 安全之Kerberos安全认证
摘要：1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认 阅读全文
posted @ 2020-04-22 11:54 kris12 阅读(2010) 评论(0) 推荐(0) 编辑
CDH |集群资源管理| 性能测试| 资源管理| 邮件报警| 数据备份| 节点的添加
摘要：测试之集群性能测试 1 DFSIO测试 在Hadoop中包含很多的基准测试，用来验证集群的HDFS是不是设置合理，性能是不是达到预期，DFSIO是Hadoop的一个基准测试工具，被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架，其中Map任务以并行方式读写文件，Redu 阅读全文
posted @ 2020-04-22 00:16 kris12 阅读(586) 评论(0) 推荐(0) 编辑
CDH| 安全之Sentry权限管理
摘要：Sentry概述 cdh版本的hadoop在对数据安全上的处理通常采用Kerbe