大数据：关于分布式，集群，机架和节点的关系

最新推荐文章于 2023-07-16 23:05:13 发布
最新推荐文章于 2023-07-16 23:05:13 发布
阅读量2.5k 收藏 10
点赞数 8
文章标签： hadoop hdfs 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42014105/article/details/105572968
版权

分布式：多个系统协同合作完成一个特定任务的系统。拆分职务，分工合作。
一个业务，拆分为多个子业务，部署在多个服务器上。

集群：并不分工，而是减轻压力，多个工人做同一件事。
同一个业务，部署在同一个服务器上。

机架：放置服务器的架子，一堆机架称之为集群
在这里插入图片描述
节点：比如一台计算机。
在这里插入图片描述

圆圆的程序员
关注
  • 8
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据面试题.docx
12-24
单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 　　a)NameNode 　　b)Jobtracker 　　c)Datanode 　　d)secondaryNameNode 　　e)tasktracker 2. HDfS 中的 block 默认保存几份? 　　a)3 份 　　b)2 份 　　c)1 份 　　d)不确定 3. 下列哪个程序通常与 NameNode 在一个节点启动? 　　a)SecondaryNameNode 　　b)DataNode 　　c)TaskTracker 　　d)Jobtracker 大数据面试题全文共16页，当前为第1页。4. Hadoop 作者 大数据面试题全文共16页，当前为第1页。 　　a)Martin Fowler 　　b)Kent Beck 　　c)Doug cutting 5. HDFS 默认 Block Size 　　a)32MB 　　b)64MB 　　c)128MB 6. 下列哪项通常是集群的最主要瓶颈 　　a)CPU 　　b)网络 　　c)磁盘 　　d)内存 7. 关于 SecondaryNameNode 哪项是正确的? 　　a)它是 NameNode 的热备 　　b)它对内存没有要求 　　c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间 　　d)SecondaryNameNode 应与 NameNode 部署到一个节点 大数据面试题全文共16页，当前为第2页。多选题 大数据面试题全文共16页，当前为第2页。 8. 下列哪项可以作为集群的管理工具 　　a)Puppet 　　b)Pdsh 　　c)Cloudera Manager 　　d)d)Zookeeper 9. 配置机架感知的下面哪项正确 　　a)如果一个机架出问题，不会影响数据读写 　　b)写入数据的时候会写到不同机架的 DataNode 中 　　c)MapReduce 会根据机架获取离自己比较近的网络数据 10. Client 端上传文件的时候下列哪项正确 　　a)数据经过 NameNode 传递给 DataNode 　　b)Client 端将文件切分为 Block，依次上传 　　c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作 11. 下列哪个是 Hadoop 运行的模式 　　a)单机版 　　b)伪分布式 　　c)分布式 大数据面试题全文共16页，当前为第3页。12. Cloudera 提供哪几种安装 CDH 的方法 大数据面试题全文共16页，当前为第3页。 　　a)Cloudera manager 　　b)Tar ball 　　c)Yum d)Rpm 判断题 13. Ganglia 不仅可以进行监控，也可以进行告警。( ) 14. Block Size 是不可以修改的。( ) 15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。( ) 16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。( ) 17. Cloudera CDH 是需要付费使用的。( ) 18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。( ) 19. Hadoop 支持数据的随机读写。( ) 20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。( ) 21. NameNode 本地磁盘保存了 Block 的位置信息。( ) 22. DataNode 通过长连接与 NameNode 保持通信。( ) 大数据面试题全文共16页，当前为第4页。23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( ) 大数据面试题全文共16页，当前为第4页。 24. Slave 节点要存储数据，所以它的磁盘越大越好。( ) 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为 FIFO( ) 27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。( ) 28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。( ) 29. 每个 map 槽就是一个线程。( ) 30. Mapreduce 的 input split 就是一个 block。( ) 31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。( ) 32. Hadoop 环境变
【大数据】Hadoop—— 三大核心组件理论入门 | 完全分布式集群搭建 | 入门项目实战
亦梦亦醒乐逍遥的博客
08-31 7710
学校大三小学期的第二阶段：大数据系统开发到了。不过这一个礼拜感觉很轻松，再好不过了，可惜的是老师因为录音设备的问题，在线上课的效果非常差，所以我找了一个很不错的慕课听。有趣的是，这个慕课和老师讲的基本重合，甚至老师要讲什么我都能猜出来，我都有点怀疑老师是不是借鉴了视频的讲法。废话不多说，先上课程：厦门大学《大数据技术原理与应用》——林子雨老师本文是这门课程前半部分的总结与理解...............
Elasticsearch权威指南-分布式集群(笔记)
bakuho102h的博客
05-16 273
Elasticsearch用于构建高可用和可扩展的系统。可扩展：横向扩展(增加集群的节点数)和纵向扩展(使用更好的服务器)。纵向扩展有其局限性，真正的可扩展性应该是横向扩展，通过增加节点来均摊负载和增加可靠性。本节介绍集群(cluster)、节点(node)和分片(shards)，以及按照需求进行扩展、并保证硬件故障时数据依旧安全问题。一、集群与节点的关系 一个集群有多个节点组成，他们具有相同的c...
Hadoop HDFS完全分布式环境搭建以及技术详解（保证没接触过大数据的小白看完就能独自把集群搭起来，并对HDFS有详细的认知）
weixin_44022416的博客
02-26 3891
**读懂本篇文章，能让小白快速入门，并且能够搭建完全分布式的集群，以及能对hdoop hdfs产生详细的认知，对以后的学习有很大的帮助** 我们先来了解hadoop的hdfs基本概念，熟知基本概念，在搭环境时能够能加得心应手。 Hadoop基本介绍 hadoop是一个框架： hadoop的本质其实就是一系列功能模块儿组成的框架，每个模块分别负责hadoop的一些功能，如HDFS负责大数据的存...
大数据之hadoop机架感知
程序之道的博客
01-11 569
Hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了Google的MapReduce编程模型和框架，能够把应用程序分割成许多的小的工作单元(块)，并把这些单元放到任何集群节点上执行。在MapReduce中，一个准备提交执行的应用程序称为“作业(job)”，而从一个作业划分出得、运行于各个计算节点的工作单元称为“任务(task)”。此外，Hadoop提供的分布式文件系统(HDFS)主要负...
大数据集群扩容机架分配
wangkuangood3200的专栏
09-16 439
由于生产上大数据集群时常会扩容，而每次扩容完成后需要对新扩容的主机进行机架分配，涉及主机数量比较多时，通过手工分配耗时较长，因此编写如下脚本进行机架分配。 第一部分：获取集群主机ID/IP地址/机架号 #其中的v18根据http://IP:7180/api/version来查看 curl -u '用户名:密码' 'http://IP:7180/api/v18/hosts'|python -c...
【IT运维小知识】如何通俗理解节点、集群以及主从？
行云管家
10-28 2131
很多刚行业的运维人员，傻傻分不清楚什么是节点、什么是集群、什么是主从，不知道怎么通俗理解，今天我们小编就给大家简单讲解一下。别，希望能加深大家的了解。
集群和节点的概念及pestat 命令
weixin_56827666的博客
04-27 3526
       在更换服务器后，相比以往在医院工作时用的服务器，现在提交命令时需要指定计算节点，为了理解大家在pbs脚本中的一些命令行，又补充学习了一下linux系统的基础知识。集群和节点的概念：集群(cluster)就是一组计算机，它们作为一个整体向用户提供一组网络资源。其中单个的计算机系统就是集群的节点(node)。一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以
hadoop机架是什么_什么是机架？
cumao2792的博客
09-15 3273
机架是什么 There’s a lot of talk about Rack, but unless you’re a framework author yourself, you rarely see it. So what is Rack? And why, as an application developer, should you care about it? 关于Rack的讨论很多...
橘子学ES06之节点集群和分片
liuwenqiang1314的博客
07-08 1764
ES的集群，分片，节点。
大数据面试题-.docx
12-24
Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( ) 24. Slave 节点要存储数据，所以它的磁盘越大越好。( ) 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为...
大数据面试题(1).docx
12-24
Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( ) 24. Slave 节点要存储数据，所以它的磁盘越大越好。( ) 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为...
大数据面试题.doc
12-24
Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( ) 24. Slave 节点要存储数据，所以它的磁盘越大越好。( ) 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为...
大数据面试题(1).doc
12-24
Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( ) 24. Slave 节点要存储数据，所以它的磁盘越大越好。( ) 25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为...
Guo某的大数据学习之路-第一天
Guoxiang1030_的博客
10-24 576
内容概要： 今天主要讲两个知识点：服务器与RAID。 同时，这也是我们学习大数据第一天的内容（下列内容均为课堂讲义） 什么是服务器？ 笔记本 台式机 服务器: 也称伺服器，是一种高性能计算机，提供计算服务的设备。 服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。 由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。 ...
HDFS 集群的机架感知
potter
03-25 443
HDFS 集群的机架感知目录1、背景 ............................................................................................................................................12、配置机架感知...................................
「大数据集群的搭建和使用」背景知识：HDFS介绍
最新发布
weixin_62909516的博客
07-16 444
HDFS简介及其基本概念
集群&分布式&节点
JRpro0814的博客
11-02 4588
目录集群&分布式&节点1.1集群1.2分布式1.3节点1.4分布式与集群的区别 集群&分布式&节点 1.1集群 集群的特点： 通过多台计算机完成同一个工作，达到更高的效率。 两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用。 集群的优点： 本来只有一台机器处理访问，现在有两台机器处理访问了，分担了压力。 如果两台或多台机器同时运行，如果其中一台出现了故障，不会影响其他机器的运行。 1.2分布式 分布式系统是一组计算机，通过网络相互连接传递消息与通信后
分布式理论与事务
Dablelv 的博客专栏。
06-23 885
作为一名后台开发人员，你可能不了解分布式相关理论，但是你做的很多事情都是符合分布式理论的。比如为了保证服务的高可用，我们可能经常采用降级兜底的策略。举个例子，比如我们做个性化推荐服务时，需要从用户中心获取用户的个性化数据，以便代入到模型里进行打分排序，但如果用户中心服务挂掉，我们获取不到数据了，那么就不推荐了？显然不行，我们可以在本地 cache 里放置一份热门商品以便兜底。通过本篇文章的介绍，希望让你对分布式相关理论知识有个大致了解。理论指导实践，理论知识了然于胸，实践起来才会胸有成足。当你了解了相关的分
java缓存集群_Cacheonix：Java分布式集群缓存框架
05-19
Cacheonix是一个基于Java的分布式集群缓存框架，它提供了高性能、高可靠性、高可扩展性的缓存解决方案。Cacheonix支持多种缓存模式，包括本地缓存、分布式缓存、分布式锁等。 Cacheonix的特点包括： 1. 高性能：...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值