CDH| Spark升级
摘要:升级之Spark升级 在CDH5.12.1集群中,默认安装的Spark是1.6版本,这里需要将其升级为Spark2.1版本。经查阅官方文档,发现Spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。 Cloudera发布 阅读全文
posted @ 2020-04-22 11:55 kris12 阅读(637) 评论(0) 推荐(0) 编辑
CDH| 安全之Kerberos安全认证
摘要:1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认 阅读全文
posted @ 2020-04-22 11:54 kris12 阅读(2010) 评论(0) 推荐(0) 编辑
CDH |集群资源管理| 性能测试| 资源管理| 邮件报警| 数据备份| 节点的添加
摘要:测试之集群性能测试 1 DFSIO测试 在Hadoop中包含很多的基准测试,用来验证集群的HDFS是不是设置合理,性能是不是达到预期,DFSIO是Hadoop的一个基准测试工具,被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架,其中Map任务以并行方式读写文件,Redu 阅读全文
posted @ 2020-04-22 00:16 kris12 阅读(586) 评论(0) 推荐(0) 编辑
CDH| 安全之Sentry权限管理
摘要:Sentry概述 cdh版本的hadoop在对数据安全上的处理通常采用Kerbe
CDH各组件
![](https://img-home.csdnimg.cn/images/20240711042549.png)