apache hadoop
文章平均质量分 90
轻风细雨
加油
展开
-
Hadoop3.3.1 HA配置多个namenode(5个Namenode)详细
Hadoop3.3.1 HA配置多个namenode(5个Namenode原创 2022-09-27 11:26:21 · 3589 阅读 · 2 评论 -
MapReduce执行流程
两个阶段:1、mapper阶段:提取数据,赋予特征映射 value ====> key,value mapreduce框架是怎么把相同特征的数据组合到一起来,然后交给reduceTask执行一次聚合操作(这里到底是怎么操作的呢?)2、reducer阶段: 把相同特征的数据进行聚合操作 key, (value, value, ...)...原创 2022-08-16 14:30:03 · 583 阅读 · 0 评论 -
关于面试--【namenode&fsimage&edits】
namenode和镜像文件之间的一些过程和考点原创 2022-08-15 15:21:42 · 475 阅读 · 0 评论 -
HUDI(搭建详细记录附加jar)
hudi +flink + hive 部署和简单实验原创 2022-06-28 15:09:26 · 1115 阅读 · 0 评论 -
关于面试--【Standby Namenode Checkpoint】&【namenodeHA】
Standby NamenodeStandby Namenode(sbn)在进入standby状态后对FSNamesystem调用startStandbyServices(final Configuration conf),该方法会创建两个重要的对象:EditLogTailer 和 StandbyCheckpointer,前者有两个功能:触发Active Namenode(nn) edits log roll 从JournalNodes拉取edit log供fsimage合并后者有三个功..原创 2020-06-10 18:46:42 · 3374 阅读 · 0 评论 -
了解HDFS恢复过程(第2部分)Best Practices for Hive Authorization Using Apache Ranger in HDP 2.2
转载:https://clouderatemp.wpengine.com/blog/2015/03/understanding-hdfs-recovery-processes-part-2/很好的文章,但是要翻墙转载给国内的伙伴,作者有问题请联系删除在运行或转向可用于生产环境的Apache Hadoop时,掌握HDFS恢复过程非常重要。在由两部分组成的结论中,解释了管道恢复。HDFS的一项重要设计要求是确保连续且正确的操作支持生产部署。因此,对于操作员而言,了解HDFS恢复过程的工作方式非常重要转载 2020-06-09 15:10:46 · 3116 阅读 · 0 评论 -
了解HDFS恢复过程(第1部分)【Understanding HDFS Recovery Processes】
转载:https://blog.cloudera.com/hadoop-delegation-tokens-explained/很好的文章,但是要翻墙转载给国内的伙伴,有问题请联系删除在运行或转向可用于生产环境的Apache Hadoop时,掌握HDFS恢复过程非常重要。HDFS的一项重要设计要求是确保连续正确的操作以支持生产部署。一个特别复杂的领域是在存在网络和节点故障的情况下确保向HDFS写入的正确性,其中租赁恢复,块恢复和管道恢复过程将发挥作用。了解何时以及为何调用这些恢复过程以及它们的.转载 2020-06-09 15:03:25 · 3209 阅读 · 0 评论 -
Hadoop授权令牌解释(原标题 Hadoop Delegation Tokens Explained)
转载:https://blog.cloudera.com/hadoop-delegation-tokens-explained/很好的文章,但是要翻墙转载给国内的伙伴,有问题请联系删除第一部分谷歌翻译版;下边有英语版Apache Hadoop的安全性是在2009年左右设计和实施的,此后一直保持稳定。但是,由于缺少有关此领域的文档,因此出现问题时很难理解或调试。设计了委托令牌,并将其作为身份验证方法在Hadoop生态系统中广泛使用。这篇博客文章介绍了Hadoop分布式文件系统(HDF...转载 2020-06-09 14:55:26 · 5371 阅读 · 0 评论