大数据面试·Hadoop篇（二）

最新推荐文章于 2024-04-20 23:46:34 发布
最新推荐文章于 2024-04-20 23:46:34 发布
阅读量119 收藏
点赞数
分类专栏： 面试笔试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010823625/article/details/107059769
版权

大数据面试·Hadoop篇（二）

1.2 HDFS HA

1.2.1 简单说下HDFS HA

  • Datanode同时配置主备两个Namenode，并同时发送Block报告和心跳到两台Namenode。
  • 确保任何时刻只有一个Namenode处于Active状态

1.2.2 DataNode宕机

  • 短时间宕机：脚本恢复
  • 长时间宕机：重启该DataNode

1.2.3 NameNode宕机

  • 结合ZooKeeper做HDFS的自动故障转移

1.2.4 NameNode对元数据的管理

NameNode对数据的管理采用了三种存储形式：

  • 内存元数据(NameSystem)
  • 磁盘元数据镜像文件(fsimage镜像)
  • 数据操作日志文件（可通过日志运算出元数据）(edit日志文件)

1.2.5 HDFS的checkpoint

  • 每隔一定时间，会由Secondray NameNode将NameNode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge（这个过程称为checkpoint）

1.2.6 HDFS如何保证HA

  • 文件副本复制机制
  • DataNode心跳状态报告机制
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u010823625
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
大数据Hadoop实战篇
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-04 6755
大数据Hadoop实战，10分钟带你入门Hadoop，手把手教你搭建分布式集群系统
大数据面试·Hadoop篇（一）
正趣果上果
07-01 137
大数据面试·Hadoop篇1、HDFS1.1 写1.2 读 1、HDFS 1.1 写 ClientNameNodeDataNode1DataNode2DataNode3检查目标文件是否已存在应答成功请求调用请求调用请求调用应答成功应答成功应答成功ClientNameNodeDataNode1DataNode2DataNode3 1.2 读 ClientNameNodeDataNode1请求通信，查询元数据，找到存有文件块的DataNode服务器就近选择一台DataNode服务器ClientNameNodeD
大数据框架Hadoop篇之Hadoop入门
Miracle8070
12-18 2242
Hadoop是一个Apache基金会开发的分布式系统基础架构， 主要解决： 海量数据的存储和海量数据的分析计算问题
大数据之Hadoop图解概述
最新发布
2401_84048179的博客
04-20 1117
1）NameNode（nn）：存储文件的。
大数据面试之Hadoop通用常见题目
luoyepiaoxue2014的博客
12-12 361
大数据面试之Hadoop通用常见题目
《大数据面试题》面试大数据这一篇就够了
热门推荐
abluer~的博客
05-05 5万+
《大数据面试题》面试大数据这一篇就够了 Hadoop 常见面试题 Hive 常见面试题 Spark 常见面试题 Flume 常见面试题 Kafka 常见面试题 Hbase 常见面试题 Redis 20 问
大数据之 Hadoop 基本概念
bad_boy的博客
03-24 7741
——大数据技术生态体系 Sqoop：Sqoop 主要用户在 Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中 Flume ：Flume 是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中订制各类数据发送方，用于收集数据 Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统 Spark：Spark 是当前最流行的开源
大数据——Hadoop 知识点整理
Vicky_Tang
09-07 9127
1. 大数据的特点（4V特征） Volume(大数据量)：90% 的数据是过去两年产生 Velocity(速度快)：数据增长速度快，时效性高 Variety(多样化)：数据种类和来源多样化 结构化数据、半结构化数据、非结构化数据 Value(价值密度低)：需挖掘获取数据价值 2. 谈谈 Hadoop 的优缺点 优点： 高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点 高可靠性：Hadoop底层维护多个数据副本 高容错性：Hadoop框架能够自动将失败的任务重新分配 低成本：Had
大数据技术之Hadoop
我从不打没有准备的仗！
02-27 3906
大数据技术之Hadoop
【大数据之Hadoop】二、Hadoop生产集群搭建之完全分布式集群
阿宁的博客
03-23 562
运行wordcount程序：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /input /output。配置workers：vim /opt/module/hadoop-3.3.1/etc/hadoop/workers 文件中添加的内容结尾不允许有空格，文件中不允许有空行。同步配置文件：xsync /opt/module/hadoop-3.3.1/etc。
Spark电商离线数仓·用户模块指标统计
正趣果上果
07-08 1869
Spark电商离线数仓·用户模块分析1、Sqoop 数据采集1.1 同步策略1.2 Sqoop脚本2、Hive 数仓分层2.1 ODS层2.2 DWD层2.2.1 维度表（dwd_dim_）2.2.2 事实表（dwd_fact_）3、Spark SQL 数据开发（新增）4、Kylin 即席查询（新增）5、Superset 结果展示（新增） 1、Sqoop 数据采集 1.1 同步策略 全量 select * from 表 where 1 = 1 增量 select * from 表 where create
基于共享单车业务的实时大数据采集计算分析平台
正趣果上果
07-08 1405
基于共享单车业务的实时大数据采集计算分析平台1、Flume 实时采集1.1 Flume配置1.2 自定义拦截器2、Spark Streaming + Kafka 实时计算3、ELK 数据展示 1、Flume 实时采集 1.1 Flume配置 a1.sources=r1 a1.channels=c1 c2 # configure source a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /opt/module/flume/test/l
Hive电商用户画像
正趣果上果
07-23 1099
Hive电商用户画像1、用户画像1.1 用户消费订单表1.1.1 近30天订单1.1.2 退货和拒收1.1.3 常用收货地址、常用支付方式1.1.4 剩余指标计算1.2 用户营销信息表1.2.1 Spark SQL 计算30天内用户的活跃状态1.2.2 Spark ML 构建用户价值模型1.2.2.1 BFM模型1.2.2.2 K-Means算法 1、用户画像 1.1 用户消费订单表 字段 类型 描述 user_id bigint 用户ID first_order_time times
Spark实时ETL·中国移动充值活动交易额指标统计
正趣果上果
07-24 767
Spark实时ETL·中国移动充值活动交易额指标统计1、充值活动交易额指标统计1.1 ODS实时分流1.1.1 需求1.1.2 Canal配置1.1.3 Spark Streaming 实时分流1.2 Stream-Static Join1.2.1 需求1.2.2 Stream-Topic1.2.3 Static维表1.2.4 Spark Streaming 流-维 Join1.3 活动指标统计1.3.1 需求1.3.2 实现1.4 数据大屏指标统计1.4.1 需求1.4.2 实现 1、充值活动交易额指标统
2020·记录阿里的一次面试（一）
正趣果上果
06-19 271
2020.06.18 新冠期间接到了面试邀请，27.5小时我可以准备点什么？1、第1个小时（第一天上午10:35-11:35）1.1 激动1.2 后悔1.3 平复心情1.4 做出最小化可行性解决方案2、第2-N小时 1、第1个小时（第一天上午10:35-11:35） 激动、后悔、平复心情、做出最小化可行性解决方案 1.1 激动 今天是星期四（我更新简历的第4天、我已经投了23家公司了，主方向是推荐算法、数据开发、公司在西湖区、余杭区），但反馈效果都不太好。 1.2 后悔 没有录音（因为接电话的时候
大数据面试·Hadoop篇（五）
正趣果上果
07-01 179
大数据面试·Hadoop篇（五）2.1 Hive2.1.1 Hive压缩类型推荐2.1.2 Hive分区表和分桶表2.1.3 order by、sort by、distribute by、partition by2.1.3.1 order by2.1.3.2 sort by2.1.3.3 distribute by2.1.3.4 partition by2.1.4 Hive常用函数 2.1 Hive 2.1.1 Hive压缩类型推荐 压缩比、压缩速度、压缩后的文件是否支持HDFS Block的分片 注重压
大数据面试·Hadoop篇（三）
正趣果上果
07-01 154
大数据面试·Hadoop篇（三）1.3 MapReduce调优1.3.1 数据输入阶段的调优1.3.2 Map阶段的调优1.3.3 Reduce阶段的调优1.3.3.1 合理设置Map和Reduce数量1.3.3.2 设置Map和Reduce共存1.3.4 IO传输阶段的调优1.3.5 MapReduce Shuffle&数据倾斜1.3.5.1 造成数据倾斜的操作1.3.5.2 数据倾斜的解决方案1.3.5.3 Shuffle1.3.6 硬件 1.3 MapReduce调优 MapReduce一般要
大数据面试·漫谈
正趣果上果
07-01 137
大数据面试·漫谈数据仓库、数据湖、数据中台列式存储的好处 数据仓库、数据湖、数据中台 数据仓库(Data Warehouse)是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合 数据湖：元数据的存储地 数据中台：数据共享，连通数据孤岛 列式存储的好处 支持压缩 只读取需要的列，能够获取更好的扫描性能 支持向量运算 ...
尚硅谷大数据：Hadoop、Spark与Zookeeper高频面试技巧
本文档是尚硅谷大数据技术研发部门发布的一份关于大数据技术的高频面试题集，主要涵盖了Hadoop、Spark、Hive等关键技术和相关概念。以下是部分内容的详细解读： 1. **Linux & Shell**： - 学习了Linux操作系统的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值