Hadoop复习（二）

最新推荐文章于 2025-06-03 11:35:39 发布
最新推荐文章于 2025-06-03 11:35:39 发布
阅读量1k 收藏 7
点赞数 31
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lzx13290757580/article/details/148281985
版权

部署Hadoop

考试不考部署，就复习选择和大题

 

问题 1 单项选择

2 / 2 分

下面哪个是MapReduce的核心配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 2 单项选择

2 / 2 分

下面哪个是HDFS的核心配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 3 单项选择

2 / 2 分

下面哪一个不属于Hadoop的部署模式

单机模式

JVM模式

伪分布式模式

完全分布式模式

问题 4 多项选择

2 / 2 分

启动YARN进程后我们可以看到哪些进程？

NameNode

DataNode

SecordaryNameNode

ResourceManager

NodeManager

问题 5 单项选择

2 / 2 分

HDFS URI我们可以从下面哪个配置文件中查看到

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

问题 6 多项选择

2 / 2 分

启动HDFS进程后我们可以看到哪些进程？

NameNode

DataNode

SecondaryNameNode

ResourceManager

NodeManager

问题 7 单项选择

2 / 2 分

启动HDFS进程的命令是哪个？

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 8 单项选择

2 / 2 分

关闭HDFS进程的命令是哪个？

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 9 单项选择

2 / 2 分

关闭YARN进程的命令是哪个？

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 10 单项选择

2 / 2 分

启动YARN进程的命令是哪个？

start-dfs.sh

start-yarn.sh

stop-dfs.sh

stop-yarn.sh

问题 11 单项选择

2 / 2 分

下面哪个是Hadoop的核心配置文件

正确!  

core-site.xml  

hdfs-site.xml 

yarn-site.xml

mapred-site.xml

问题 12 单项选择

2 / 2 分

下面哪个是YARN的核心配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

简要说明Hadoop的三种模式

独立模式：独立模式是一种在单台计算机的单个JVM进程中模拟Hadoop集群的工作模式，该模式部署的Hadoop集群实际上并不属于分布式文件系统，而是直接读写本地操作系统的文件系统，此模式部署的Hadoop通常用于快速安装并体验Hadoop的功能，并不适用于实际生产环境

伪分布式：伪分布式模式是一种在单台计算机的不同JVM进程中运行Hadoop集群的工作模式，该模式部署的Hadoop集群实际上是一个为分布式系统，因为Hadoop集群的所以守护进程都运行在一台计算机中，并不能体现出分布式的特点，所以伪分布式模式部署的Hadoop通常用于开发环境中进行测试和调试，并不适用于实际生产环境。

完全分布式：完全分布式模式是一种在多台计算机的JVM进程中运行Hadoop集群的工作模式，该模式部署的Hadoop集群属于分布式系统，因为Hadoop集群的每个守护进程都运行在不同的计算机中，所以完全分布式模式部署的Hadoop通常可作为实际生产环境


词频统计


Hadoop格式化
hadoop namenode -format
启动Hadoop
start-all.sh
创建文件word.txt，内容如下:
Hello world
Hello Hadoop
Bye worldBye Hadoop
上传至HDFS的根目录下
hdfs dfs -put word.txt /
统计词频
cd /opt/hadoop/share/hadoop/mapreducehadoop jar hadoop-mapreduce-examples-3.3.5.jar wordcount /word.txt /out
查看结果目录
hdfs dfs -ls /out
这时可看到两个文件，分别是SUCCESS和part-r-00000
统计结果文件即是part-r-00000
查看结果
hdfs dfs -cat /out/part-r-80080

丸卜
关注
Hadoop期末总复习
花开蝶自来
05-20 1526
Hadoop期末复习
hadoop复习题
m0_46191714的博客
01-22 971
hadoop复习题、面试题 记录hdfs读写流程、namenode、MapReduce流程、shuffle详细过程、yarn任务提交流程等
Hadoop复习
qq_59336423的博客
06-13 170
ssh免密登录：生成自己的密钥 将自己的公钥发送到需要免密登录的虚拟机 完全分布式的配置：vim core-site.xml vim hdfs-site.xml vim yarn-site.xmlvim mapred-site.xml之后使用scp命令将文件复制到其他虚拟机 初始化集群 在hadoop102上启动hdfs 在hadoop103上启动yarn...
hadoop复习
qq_59336423的博客
06-12 207
今天开始复习Hadoop配置内容，首先随便创建一个虚拟机命名为hadoop100。IP和主机名称修改：安装工具包和编辑器安装epel-release关闭防火墙将hdoop100做为模板复制出hadoop102、haddop103、hdoop104 之后修改每台虚拟机的IP与主句名称，再安装JDK和Hadoop。本地运行模式：...
Hadoop期末复习
SoyLeon的博客
12-23 3273
hadoop期末复习整理 第一章 大数据概述 1、两大核心技术：HDFS和MapReduce。 2、大数据计算模式及其代表产品 批处理计算：MapReduce、Spark 流计算：Storm、Flume 图计算：PowerGraph 查询分析计算：Hive、Cassandra 3、云计算、大数据和物联网的联系 云计算为大数据提供技术基础，大数据为云计算提供用户之地； 云计算为物联网提供海量数据存储能力，物联网为云计算提供广阔的应用空间； 物联网是大数据的重要来源，大数据为物联网数据分析提供支撑。 ====
Hadoop期末复习（完整版）
m0_74922316的博客
11-01 3266
复习之前我们要有目的性，明确考什么，不考什么。对于hadoop来说，首先理论方面是跑不掉的，而且还是重中之重。例如：hdfs的读写流程，hdfs副本机制等等。其次是hadoop命令,如果学习了hadoop不了解hadoop dfs …和hdfs dfs …那么你可以重修了。最后要明确那一部分会出什么题。下面背景色或者字体改变的背过就完了。
Hadoop复习回顾
m0_48170265的博客
04-09 567
Hadoop复习
hadoop期末复习
bettrWilliam的博客
12-11 1363
NameNode和SecondaryNameNode不要安装在同一台服务器。ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。1）防火墙没关闭、或者没有启动YARN2）主机名称配置错误3）IP地址配置错误4）ssh没有配置好5）root用户和Hadoop（自己设置的账户）两个用户启动集群不统一6）配置文件修改不细心7）不识别主机名称。
Hadoop复习(一)
wai___wai的博客
12-23 392
Hadoop复习 文章目录Hadoop复习前言一、简要描述如何安装配置apache的一个开源Hadoop二、Hadoop中需要哪些配置文件和其作用1.core-site.xml：2.hadoop-env.sh:3.hdfs-site.xml：mapred-site.xml：三.正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?(1）NameNode(2）SecondaryNameNode(3)DataNode(4）ResourceManager（JobTracker）(5
大数据Hadoop复习笔记
小谢的博客
12-05 4052
题型与分值 选择题10道*2分=20分 填空题5道*2分=10分 判断题5道*1分=5分 简答题2道*10分=20分 方案设计题1道*15分=15分 （无唯一标准答案，可用中文写清楚每个关键步骤和重要技术点，也可直接写代码，或者中文和代码混合说明） 注意： ①写清方案实行的步骤 ②每个步骤的重要技术点，比如用的哪个类来实现 程序设计题6段*5分=30分（从挖行改成挖段） 内容 复习hive的JSON和多字节分隔符的解析步骤和关键技术点 复习hive窗口函数的使用方法和含义 集群与分布式 分布式
Hadoop期末复习习题
08-22
Hadoop期末复习习题
Hadoop复习资料题库.zip
12-23
Hadoop复习资料题库.zip包含了关于Hadoop的基础知识、核心组件、工作原理以及实际应用的习题和答案文档。这些资料对于学习者来说是极好的复习材料，有助于加强记忆，并能通过题目巩固所学理论知识。 《Hadoop》_...
Hadoop复习习题（旧
08-22
Hadoop复习习题（旧
hadoop复习题.docx
01-04
5. **HDFS数据存放**：HDFS采用3个副本策略，其中第一个副本通常存放在写入数据的节点，第二个副本放在不同机架的节点，第三个副本在同一机架但不同节点，以优化网络带宽利用。 6. **YARN工作模式**：YARN采用主从...
Hadoop期末复习资料
12-07
知识点： 1. Hadoop期末考试题型及分值分布：综合案例题（35分）、名词解释（15分）、简答题（30分）、编程题（20分）。考生应该全面掌握各个题型...务必在复习时检查每项操作的准确性，并熟悉相关的配置文件和命令。
Hadoop 3.x 伪分布式 8088端口无法访问问题处理
微信公众号: 后端码匠
06-03 650
摘要： Hadoop YARN ResourceManager启动后，8088端口无法访问的常见原因是默认监听地址为localhost（127.0.0.1）。通过修改yarn-site.xml配置文件，将yarn.resourcemanager.hostname设为实际IP（如192.168.0.110），并添加yarn.resourcemanager.webapp.address绑定至0.0.0.0:8088，重启YARN服务后即可解决。此外需检查防火墙是否放通8088端口。最终浏览器访问http://I
Hadoop复习（九）
最新发布
lzx13290757580的博客
06-03 254
为用户提供专业的执行专家提供一个基于 Web 的界面，方便用户进行工作流的配置、管理和监控等操作，实现对工作流的全面掌控。负责具体任务的执行，接收从调度服务器分配的任务并在本地执行这些任务，同时监控任务的运行状态并反馈执行结果。负责根据预设的时间、条件等规则安排任务的执行顺序和时间，管理任务的依赖关系并进行合理调度。简述Azkaban的3个核心组件的作用。
变更数据捕获（CDC）与流处理引擎实现医疗数据实时同步（下）
AllenLV的博客
05-29 1206
Flink CDC技术为医疗数据实时同步提供了高效解决方案。该技术通过解析数据库日志捕获全量和增量数据变更，支持MySQL、PostgreSQL等多种数据库类型。在医疗场景中，Flink CDC可实时同步HIS、EMR等系统的数据到临床数据中心，实现秒级延迟。其优势包括低性能影响、高可用性、断点续传等特性。构建过程中需考虑统一数据模型、数据质量、系统性能等关键因素。Flink CDC的应用显著提升了医疗数据处理的实时性和准确性，为临床决策提供有力支持。
【Web应用】若依框架：基础篇13 源码阅读-前端代码分析
成为你自己，做你想做的
06-03 167
【Web应用】若依框架：基础篇13 源码阅读-前端代码分析
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值