【Spark_BigData】期末复习考试——

于 2023-07-07 13:53:18 发布
阅读量300 收藏
点赞数
分类专栏： [06]大数据 文章标签： 大数据 spark 分布式 hadoop hbase hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52372189/article/details/131229681
版权

复习题目

  1. yarn框架中不包含的进程为
    Yarn包括两个主要进程：资源管理器Resource-Manager，节点管理器Node-Manager。
    Scheduler

  2. zookeeper
    在这里插入图片描述

  3. spark SQL 前身 Shark

  4. 在Spark中,DataFrame是一种以RDD为基础的分布式数据集,类似于传统数据库中的二维表格。

  5. HiveContext继承自SQLContext

  6. 默认的输出格式是 TextOutputFormat-默认的输出格式是 TextOutputFormat
    7.Spark Streaming能够和（）无缝集成
    A.
    Hadoop
    B.
    Spark SQL
    C.
    Mllib
    D. GraphX 在这里插入图片描述

  7. HBase属于列式非关系型娄据库(NoSQL),

  8. Scala中变量的声明使用关键字val和var。val类似Java中的final变量,也就是常量,一旦初始化将不可修改;var类似Java中的非final变量,可以被多次赋值,多次修改。

Kafka是专门为分布式高吞吐量系统而设计开发的，它非常适合在海量数据应用程序中进行消息传递。Kafka的消息传递有两种模式&#

最低0.47元/天 解锁文章
拾贰_C
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
云计算 期末选择题（单选）
YWF89927的博客
11-15 689
实时迁移（LiveMigration），就是（ ）的同时，把它从一个计算机迁移到另一个计算机，并在目的计算机恢复运行的技术。（），软件即服务，就是客户不需要购买任何的服务器，包括数据库、中间件等等都不需要购买，他只需要购买软件的账号。（ ）是Google提出的用于处理海量数据的并行编程模式和大规模数据集的并行运算的软件架构。虚拟机隔离是指虚拟机之间在没有（ ）的情况下，互相之间不可通信、不可联系的一种技术。云计算的一大特征是（），没有高效的网络云计算就什么都不是，就不能提供很好的使用体验。
Spark编程基础期末复习
热门推荐
涛涛不淘
07-02 1万+
spark编程基础期末复习
Hadoop笔记（4）yarn架构介绍
haveanybody的博客
04-09 552
7. yarn 资源管理者resourcemanager nodemanager Hadoop 中包含了两个独立的主从架构（Master / Slave）的集群：HDFS 和 YARN。HDFS的主节点的守护进程是：NameNode，从节点的守护进程是 DataNode。YARN的主节点的守护进程是：ResourceManager，从节点的守护进程是 NodeManager namenode存储所有数据的元数据信息，那么必然要感知所有datanode的状态，一旦datanode上线或者下线，就.
YARN的架构及原理
怀英小斋
11-20 7459
YARN的架构与背景
Yarn
qq_38019655的博客
11-06 253
Yarn 一、Yarn概述 　　Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。 　　YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业...
Scala and Spark for Big Data Analytics_Code 源码
10-13
Scala and Spark for Big Data Analytics_Code 源码 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Spark: Big Data Cluster Computing in Production
12-15
Spark: Big Data Cluster Computing in Production English | 2016 | ISBN: 1119254019 | 216 pages | PDF | 5 MB Production-targeted Spark guidance with real-world use cases Spark: Big Data Cluster ...
Scala and Spark for Big Data Analytics.pdf
09-06
Chapter 1, Introduction to Scala, will teach big data analytics using the Scalabased APIs of Spark. Spark itself is written with Scala and naturally, as a starting point, we will discuss a brief ...
Scala and Spark for Big Data Analytics epub
09-29
Scala and Spark for Big Data Analytics 英文epub 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
Learn_bigdata
02-14
Apache Spark Spark是用于大规模数据处理的统一分析引擎。 它提供了Scala，Java，Python和R中的高级API，以及优化的引擎，该引擎支持用于数据分析的通用计算图。 它还支持丰富的高级工具集，包括用于SQL和DataFrames...
Big Data with Apache Spark and Python_Code 源码
10-03
Big Data with Apache Spark and Python_Code 源码 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请联系上传者或csdn删除
big_data_spark_project
03-15
然后启动hadoop dfs和spark的工作程序vagrant up && vagrant sshhadoop/sbin/start-dfs.shspark/sbin/start-all.sh将数据文件复制到hadoop并准备输出目录hadoop/bin/hadoop fs -mkdir /inputhadoop/bin/hadoop fs -...
Big Data with Apache Spark and Python 无水印pdf
10-03
Big Data with Apache Spark and Python 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，如有侵权，请...
Big_Data_Analytics_with_Spark_and_Hadoop-Packt_Publishing2016
01-22
Big_Data_Analytics_with_Spark_and_Hadoop-Packt_Publishing2016
spark期末复习题总结
01-14
"Spark期末复习题总结" Spark是Apache开源的大数据处理引擎，主要用于分布式计算和内存式计算。Spark可以实现多种形式的分布式计算，如内存式运算、机器学习、交互式查询、流式计算等。 1. Spark的核心组件包括...
Yarn 的组成及其工作流程
weixin_33989780的博客
06-16 380
在 Hadoop1 中 MapReduce 框架即负责集群的资源调度，还负责 MapReduce 程序的运行。由于这种架构资源调度和计算高度耦合，导致了一个 Hadoop 集群中只能跑 MapReduce 计算任务，无法跑其它的计算任务，维护成本很高。 在后面的 Hadoop2 中改成了 Yarn + MapReduce 架构，将资源的调度工作交给了 Yarn，MapReduce 只负责计算。这样...
hadoop resource manager设置登录用户与密码_Hadoop框架：Yarn基本结构和运行原理
weixin_30367805的博客
01-12 936
一、Yarn基本结构Hadoop三大核心组件：分布式文件系统HDFS、分布式计算框架MapReduce，分布式集群资源调度框架Yarn。Yarn并不是在Hadoop初期就有的，是在Hadoop升级发展才诞生的，典型的Master-Slave架构。Yarn包括两个主要进程：资源管理器Resource-Manager，节点管理器Node-Manager。资源管理器通常部署在独立的服务器，处理客户端请求...
Yarn框架
大数据
11-17 932
YARN框架：主要做资源调度 1.RM(节点)：起的是监控作用,管理NM(节点) 2.AppMaster管理的是：YarnChild进程 3.RM和NM是集群一启动就有的,早就定好了，AppMaster是动态产生出来的,不是刚开始运行就存在的,是RM启动起来的,它是后来才产生的,AppMaster是随机的，是RM找了其中一台NM启动这个进程，yarnChild也是动态产生进程的。 job.wai...
hadoop知识点总结（三）YARN设计理念及基本架构
weixin_30824277的博客
06-12 577
YARN设计理念与基本架构 1，MRv1的局限性：扩展性差，可靠性差，资源利用率低，无法支持多种计算框架 2，YARN基本设计思想 1）基本框架对比 Hadoop1.0中，JobTracker由资源管理和作业控制两部分组成 MRv1的局限性多，正是由于Hadoop对JobTracker赋予的功能过多而造成负载过重 从设计角度，Hadoop未能将...
yarn 中AM RM
最新发布
04-12
在YARN（Yet Another Resource Negotiator）中，AM（Application Master）和RM（Resource Manager）是两个重要的组件。 AM（Application Master）是一个应用程序级别的管理器，负责与RM进行通信并协调应用程序的执行。每个应用程序都有一个对应的AM实例，它负责向RM请求资源、监控任务的执行情况，并在任务失败时进行重试。AM还负责与NM（Node Manager）通信，将任务分配给可用的节点进行执行。 RM（Resource Manager）是整个集群的资源管理器，负责接收来自AM的资源请求，并根据集群的资源情况进行资源分配。RM还负责监控集群中各个节点的状态，并在节点故障时进行故障恢复。RM还可以配置调度策略，以决定如何分配资源给不同的应用程序。 总结一下： - AM是应用程序级别的管理器，负责与RM进行通信并协调应用程序的执行。 - RM是整个集群的资源管理器，负责接收来自AM的资源请求，并根据集群的资源情况进行资源分配。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

拾贰_C

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值