大数据常见问题整理

最新推荐文章于 2022-10-03 21:01:19 发布
最新推荐文章于 2022-10-03 21:01:19 发布
阅读量248 收藏
点赞数
文章标签： 大数据 php 数据库
原文链接：http://www.cnblogs.com/ngy0217/p/10054463.html
版权

  • 讲述HDFS上传文件和读文件的流程

  • HDFS 上传流程  
    过程解析：详解
    这里描述的 是一个256M的文件上传过程 
    ① 由客户端 向 NameNode节点节点 发出请求
    ②NameNode 向Client返回可以可以存数据的 DataNode 这里遵循  机架感应  原则

    ③客户端 首先 根据返回的信息 先将 文件分块（Hadoop2.X版本 每一个block为 128M 而之前的版本为 64M）
    ④然后通过那么Node返回的DataNode信息 直接发送给DataNode 并且是 流式写入  同时 会复制到其他两台机器
    ⑤dataNode 向 Client通信 表示已经传完 数据块 同时向NameNode报告
    ⑥依照上面（④到⑤）的原理将 所有的数据块都上传结束 向 NameNode 报告 表明 已经传完所有的数据块 

  • HDFS在上传文件的时候，如果其中一个块突然损坏了怎么办

    其中一个块坏了，只要有其它块存在，会自动检测还原。

  • NameNode的作用

    namenode总体来说是管理和记录恢复功能。
    比如管理datanode，保持心跳，如果超时则排除。
    对于上传文件都有镜像images和edits,这些可以用来恢复

  • NameNode在启动的时候会做哪些操作

    NameNode启动的时候，会加载fsimage,NameNode启动过程fsimage加载过程

    Fsimage加载过程完成的操作主要是为了：
    1.         从fsimage中读取该HDFS中保存的每一个目录和每一个文件
    2.         初始化每个目录和文件的元数据信息
    3.         根据目录和文件的路径，构造出整个namespace在内存中的镜像
    4.         如果是文件，则读取出该文件包含的所有blockid，并插入到BlocksMap中。
    整个加载流程如下图所示：
     

    如上图所示，namenode在加载fsimage过程其实非常简单，就是从fsimage中不停的顺序读取文件和目录的元数据信息，并在内存中构建整个namespace，同时将每个文件对应的blockid保存入BlocksMap中，此时BlocksMap中每个block对应的datanodes列表暂时为空。当fsimage加载完毕后，整个HDFS的目录结构在内存中就已经初始化完毕，所缺的就是每个文件对应的block对应的datanode列表信息。这些信息需要从datanode的blockReport中获取，所以加载fsimage完毕后，namenode进程进入rpc等待状态，等待所有的datanodes发送blockReports。

 

 

spark

mr和spark区别，怎么理解spark-rdd

Mr是文件方式的分布式计算框架，是将中间结果和最终结果记录在文件中，map和reduce的数据分发也是在文件中。

spark是内存迭代式的计算框架，计算的中间结果可以缓存内存，也可以缓存硬盘，但是不是每一步计算都需要缓存的。

 

Spark应用转换流程

1、spark应用提交后，经历了一系列的转换，最后成为task在每个节点上执行

2、RDD的Action算子触发Job的提交，生成RDD DAG

3、由DAGScheduler将RDD DAG转化为Stage DAG，每个Stage中产生相应的Task集合

4、TaskScheduler将任务分发到Executor执行

5、每个任务对应相应的一个数据块，只用用户定义的函数处理数据块

Spark-rdd是一个数据的分区记录集合………………

 

Driver运行在Worker上

通过org.apache.spark.deploy.Client类执行作业，作业运行命令如下：

作业执行流程描述：

1、客户端提交作业给Master

2、Master让一个Worker启动Driver，即SchedulerBackend。Worker创建一个DriverRunner线程，DriverRunner启动SchedulerBackend进程。

3、另外Master还会让其余Worker启动Exeuctor，即ExecutorBackend。Worker创建一个ExecutorRunner线程，ExecutorRunner会启动ExecutorBackend进程。

4、ExecutorBackend启动后会向Driver的SchedulerBackend注册。SchedulerBackend进程中包含DAGScheduler，它会根据用户程序，生成执行计划，并调度执行。对于每个stage的task，都会被存放到TaskScheduler中，ExecutorBackend向SchedulerBackend汇报的时候把TaskScheduler中的task调度到ExecutorBackend执行。

5、所有stage都完成后作业结束。

 

spark概念

术语总是难以理解的，因为它取决于所处的上下文。在很多情况下，你可能习惯于“将Job提交给一个cluster”，但是对于spark而言却是提交了一个driver程序。

也就是说，对于Job，spark有它自己的定义，如下： 
A parallel computation consisting of multiple tasks that gets spawned in response to a Spark action (e.g. save, collect); you’ll see this term used in the driver’s logs.

在这个例子中，假设你需要做如下一些事情： 
1. 将一个包含人名和地址的文件加载到RDD1中 
2. 将一个包含人名和电话的文件加载到RDD2中 
3. 通过name来Join RDD1和RDD2，生成RDD3 
4. 在RDD3上做Map，给每个人生成一个HTML展示卡作为RDD4 
5. 将RDD4保存到文件 
6. 在RDD1上做Map，从每个地址中提取邮编，结果生成RDD5 
7. 在RDD5上做聚合，计算出每个邮编地区中生活的人数，结果生成RDD6 
8. Collect RDD6，并且将这些统计结果输出到stdout

 

为了方便说明，我将这个例子整理成如下的一张示意图： 
这里写图片描述

其中红色虚线表示输入和输出，蓝色实线是对RDD的操作，圆圈中的数字对应了以上的8个步骤。接下来解释driver program, job和stage这几个概念：

  1. Driver program是全部的代码，运行所有的8个步骤。
  2. 第五步中的save和第八步中的collect都是Spark Job。Spark中每个action对应着一个Job，transformation不是Job。
  3. 其他的步骤（1、2、3、4、6、7）被Spark组织成stages，每个job则是一些stage序列的结果。对于一些简单的场景，一个job可以只有一个stage。但是对于数据重分区的需求（比如第三步中的join），或者任何破坏数据局域性的事件，通常会导致更多的stage。可以将stage看作是能够产生中间结果的计算。这种计算可以被持久化，比如可以把RDD1持久化来避免重复计算。
  4. 以上全部三个概念解释了某个算法被拆分的逻辑。相比之下，task是一个特定的数据片段，在给定的executor上，它可以跨越某个特定的stage。

到了这里，很多概念就清楚了。驱动程序就是执行了一个Spark Application的main函数和创建Spark Context的进程，它包含了这个application的全部代码。Spark Application中的每个action会被Spark作为Job进行调度。每个Job是一个计算序列的最终结果，而这个序列中能够产生中间结果的计算就是一个stage。

再回过头来看一下Spark Programming Guide，对于Transformations和Actions是有着明确区分的。通常Action对应了Job，而Transformation对应了Stage：

Action列表：

  • reduce
  • collect
  • count
  • first
  • take
  • takeSample
  • takeOrdered
  • saveAsTextFile
  • saveAsSequenceFile
  • saveAsObjectFile
  • countByKey
  • foreach

Transformation列表：

  • map
  • filter
  • flatMap
  • mapPartitions
  • mapPartitionsWithIndex
  • sample
  • union
  • intersection
  • distinct
  • groupByKey
  • reduceByKey
  • aggregateByKey
  • sortByKey
  • join
  • cogroup
  • cartesian
  • pipe
  • coalesce
  • repartition
  • repartitionAndSortWithinPartitions

至于task，官方文档中是这么说的：Task is a unit of work that will be sent to one executor。再结合官方对Stage的解释，可以这样理解： 
一个Job被拆分成若干个Stage，每个Stage执行一些计算，产生一些中间结果。它们的目的是最终生成这个Job的计算结果。而每个Stage是一个task set，包含若干个task。Task是Spark中最小的工作单元，在一个executor上完成一个特定的事情。

转载于:https://www.cnblogs.com/ngy0217/p/10054463.html

weixin_30346033
关注
大数据常见面试题整理
梦忆故城的博客
11-29 1100
    今年参加了校园秋招，主要针对招聘大数据研发相关岗位，最后也如愿以偿找到了大数据软件开发的工作，在此期间整理了一下比较常见的相关面试题。 1.Mapreduce实际处理过程： Input Map SortCombinePartitionReduceOutput 2.列出Yarn中的关键组件，并简述各关键组件内部的交互原理。     Yarn资源管理框架包括ResourceManag...
大数据概论知识整理
WWWWWWWyt的博客
04-27 4283
目录 学习要求 一、数据科学的学科地位 二、统计学 1.统计学与数据科学 2.数据科学中常用的统计学知识 3.统计学与机器学习的区别与联系 4.数据科学视角下的统计学 三、机器学习 1.机器学习与数据科学 2.数据科学中常用的机器学习的知识 （1）基于实例学习 （2）概念学习 （3）决策树学习 （4）人工神经网络学习 （5）贝叶斯学习 （6）遗传算法 （7）分析学习 （8）增强学习 3.机器学习在数据科学中的应用 四。数据可视化 总结 学习要求 ...
Hadoop大数据常见问题及处理方法.docx
06-25
Hadoop大数据常见问题及处理方法，使用 hive 自带的 concatenate 命令，自动合并小文件
大数据面试题之Hadoop:每日三题(二)
qq_50231389的博客
11-14 2244
大数据面试题之Hadoop1.NameNode在启动的时候会做哪些操作2.Secondary NameNode了解吗?它的工作机制是怎样的3.Secondary NameNode 不能恢复NameNode的全部数据，那如何保证NameNode数据存储安全 1.NameNode在启动的时候会做哪些操作 NameNode数据存储在内存和本地磁盘，本地磁盘数据存储在fsimage镜像文件和edits编辑日志文件 首次启动NameNode 1.格式化文件系统，为了生成fsimage镜像文件 2.启动NameN
NameNode 在启动的时候会做哪些操作
Jee.Li
12-09 595
NameNode 启动的时候，会加载 fsimage Fsimage 加载过程完成的操作主要是为了： (1)从 fsimage 中读取该 HDFS 中保存的每一个目录和每一个文件 (2)初始化每个目录和文件的元数据信息 (3)根据目录和文件的路径，构造出整个 namespace 在内存中的镜像 (4)如果是文件，则读取出该文件包含的所有 blockid，并插入到 BlocksMap 中。 namenode 在加载 fsimage 过程其实非常简单，就是从 fsimage 中不停的顺 序读取文件和目录的元数据
HDFS源码分析——NameNode启动流程
机械工程跑路哥
10-03 1831
NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式
解码Hadoop系列——NameNode启动流程
manshiai的博客
08-11 4093
namenode的主要责任是文件元信息与数据块映射的管理。相应的，namenode的启动流程需要关注与客户端、datanode通信的工作线程，文件元信息的管理机制，数据块的管理机制等。其中，RpcServer主要负责与客户端、datanode通信，FSDirectory主要负责管理文件元信息。...
大数据运维面试题整理.pdf
最新发布
12-24
两者都是为了增强HDFS的稳定性和效率，但解决的问题和方法不同。 总结，HDFS通过其独特的架构和机制，成功解决了大数据存储和管理的挑战，提供了高可用性和可扩展性，是大数据运维面试中不可或缺的知识点。理解并...
大数据面试题整理.docx
04-17
【大数据面试题整理】 在大数据领域，面试通常会涵盖各种技术，如Hadoop、Spark、Flink、Java、Scala、HBase、Flume、Hive、Kafka、Zookeeper、Redis、MySQL、MongoDB、Linux、Sqoop和Oracle。这些技术在大数据处理...
大数据脑图资料整理.zip
05-20
本资料整理旨在提供一个全面的大数据学习框架，帮助学习者理解和掌握大数据的核心技术和应用。 首先，我们要理解大数据的四大特性，通常被称为4V：Volume（大量）、Velocity（高速）、Variety（多样）和Value（价值...
MapReduce模型--Map端Combiners聚合
05-28
Combiners是对Map端的数据进行适当的聚合，其好处是减少了从Map端到Reduce端的数据传输量。 其作用的本质，是将Map计算的结果进行二次聚合，使Key-Value<List>中List的数据量变小，从而达到减少数据量的目的。
Hadoop namenode启动瓶颈分析
weixin_30484739的博客
04-26 342
转载：http://blog.csdn.net/AE86_FC/archive/2010/08/26/5842020.aspx NameNode启动过程详细剖析 NameNode中几个关键的数据结构 FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件...
HDFS的NameNode功能
热门推荐
dong515299210的博客
08-15 1万+
NameNode主要功能： 1、NameNode主要功能：接受客户端的读写服务 2、NameNode保存metadata信息：       - 文件owership和permissions       - 文件包含哪些块       - Block保存在那个DataNode上（DameNode启动的时候主动把block汇报给NameNode）。 3、NameNode的metadata信...
大数据原理与技术操作问题
m0_51745391的博客
06-20 1134
1.ping不通 如上图虚拟机ping不通主机 方法一：关闭防火墙（注：我关闭防火墙依然ping不通，方法一不行） 方法二：在命令提示符中ping虚拟机 如上图可知，主机和虚拟机ping通了。 2.
四、HDFS中NameNode的启动过程
zippo
01-24 2338
一、HDFS中NameNode的启动过程 1、在hdfs-site.xml中设置文件存储路径并指向data路径，在hadoop安装路径中新建data目录。 2、进行namenode格式化，在data目前中生成各类目录，并生成fsimage文件。 3、第一次启动namenode硬盘中将fsimage加载到内存中，hdfs文件如果修改，将写edits文件作为log，并将最新修改内容加
map-reduce实现（map端join， reduce端join）
eyeofeagle的博客
09-24 1146
map-reduce实现hive的join全外连接查询 (大表 +小表 ） 假设有订单表orders， 用户表customers, 存在大表+小表的关系， 则可以使用sql的优化: 使用map端join 现在的问题是， 如何使用map-reduce 自己实现: map端的 full outer join ? reduce端的full outer join ? part1: map端...
关于一道腾讯的面试题和我的答案
07-20 538
<br />１、我们碰到了大麻烦，一个新来的传教士惹恼了上帝，上帝很愤怒，要求我们把圣经（bbe.txt）背熟，直至他说哪个单词，我们就要飞快的回答出这个单词在第几行第几个单词位置。听说你是个优秀的程序员，那么髟助我们完成这个不可能的任务吧。<br />　　要求如下：<br />　　１）/myworks/example/bbe.txt，98版本英文圣经一本<br />　　２）输入部分要求如下：php ./example.php [单词]<br />　　３）输出部分如下：[单词] 1,2 2,4 5,6　表示
理解MapReduce数据流
Heaven Wang 的专栏
12-01 5790
一、先理解MapReduce作业组成      一个完整的MapReduce作业称作job，它包括三部分： 输入数据MapReduce程序配置信息           Hadoop工作时会将job分成若干个task：map任务和reduce任务       有两类节点控制作业执行的过程：JobTracker和TaskTracker JobTra
全面掌握大数据开发：资源文件整理
8. 大数据案例分析：研究不同行业的大数据应用案例，理解大数据技术如何解决实际业务问题。 9. 法规与伦理：了解与大数据相关的隐私保护、数据安全和伦理问题。 这些知识体系构成了大数据开发的完整图谱，对于从事...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值