![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
fly_air
这个作者很懒,什么都没留下…
展开
-
Hadoop安全机制Kerberos介绍
Kerberos协议:Kerberos协议主要用于计算机网络的身份鉴别(Authentication),其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多个服务,即SSO(Single Sign On)。由于在每个Client和Service之间建立了共享密钥,使得该协议具有相当的安全性。条件先来看看Kerberos协议的前提条件:如下图所示,Client与KDC,KDC与Service在协议工作前已经有了各自的共享密钥,并...转载 2020-05-11 01:05:58 · 764 阅读 · 0 评论 -
hadoop平台存储文件格式的概念及对比
背景在实施大数据平台项目或直接说hadoop平台类的项目时,开发设计人员总会对"文件格式"感到困惑,不知道该如何理解和使用。常见的问题有以下几种:hdfs支持哪些文件格式? txt格式、rc格式和orc格式有什么区别? orc格式和parquet格式哪个好? 该怎么去选择这些格式,这些格式的文件都有什么优缺点? Hbase和ElasticSearch为什么也是文件存储格式的一种?...转载 2019-12-15 02:00:49 · 932 阅读 · 1 评论 -
MapReducek shuffle过程解析(setPartitionerClass、setSortComparatorClass和setGroupingComparatorClass三者关系)
Map首先将输出写到环形缓存当中,开始spill过程:job.setPartitionerClass(PartitionClass.class);【按key分区】map阶段最后调用。对key取hash值(或其它处理),指定进入哪一个reducejob.setSortComparatorClass(SortComparator.class);【按key排序】每个分区内,对 键 或 键的部分 ...转载 2019-07-30 22:20:07 · 236 阅读 · 0 评论 -
MapReduce中partition、sort、group
partition是分区,默认根据key的hash值分区,确定各个key分到哪个reducer中去,计算方法一般是HashValue%Num(reducer),如果只有一个分区,则全都分配到一个区。sort是在分区内根据key进行排序。group是分组,是在partition里面再分组,相同的key分到一个组中去,实现方法是compare(o1,o2),相同为一个group。有些问题需...转载 2019-07-30 22:40:54 · 286 阅读 · 0 评论 -
Apache Flink 1.9 重大特性提前解读
今天在 Apache Flink meetup ·北京站进行 Flink 1.9 重大新特性进行了讲解,两位讲师分别是 戴资力/杨克特,zhisheng 我也从看完了整个 1.9 特性解读的直播,预计 Flink 1.9 版本正式发布时间大概是 7 月底 8 月初左右正式发布,下面一起来看看直播内容:架构改动...转载 2019-10-21 20:16:29 · 134 阅读 · 0 评论