笔记
socutey
。
展开
-
Zookeeper的一些问题
八、请简述ZooKeeper的选举机制?全新集群选举:假设目前有5台服务器,每台服务器均没有数据,它们的编号分别是1,2,3,4,5,按编号依次启动,它们的选举过程如下:服务器1启动,给自己投票,然后发投票信息,由于其它机器还没有启动所以它收不到反馈信息,服务器1的状态一直属于Looking。服务器2启动,给自己投票,同时与之前启动的服务器1交换结果,由于服务器2的编号大所以服务器2胜出,但此时投票数没有大于半数,所以两个服务器的状态依然是LOOKING。服务器3启动,给自己投票,同时与之前启动的原创 2020-07-26 22:41:13 · 123 阅读 · 0 评论 -
Hadoop、mapreduce、Zookeeper
谈谈什么是Hadoop?Hadoop是一个开源软件框架,用于存储大量数据,并发计算/查询节点的集群上的数据。Hadoop包括以下内容: HDFS(Hadoop Distributed File System):Hadoop分布式文件存储系统。 MapReduce:分布式计算框架。它以分布式和并行的方式处理大量的数据。 YARN(资源定位器):用于管理和调度集群资源的框架。MapReducer核心思想1)分布式的运算程序往往需要分成至少2个阶段。2)第一个阶段的MapTask并发实例,完原创 2020-07-26 22:40:09 · 290 阅读 · 0 评论 -
关于集群
fsimage和edits文件分别指的是什么?存的是什么?fsimage:HDFS文件系统元数据的镜像文件,其中包含HDFS文件系统的所有目录和文件inode及相关属性的序列化信息。?edits:用户操作的编辑日志文件,存放HDFS文件系统的所有更新操作的动作,文件所有写操作会被记录到Edits文件中。.默认情况下进行ckeckpoint(合并镜像及编辑日志)的触发条件是什么?默认情况下,2NN每隔一小时执行一次checkpoint默认情况下,一分钟检查一次Edits文件的操作次数,当操作次数达到原创 2020-07-26 22:36:18 · 188 阅读 · 0 评论 -
HDFS的介绍
HDFSHDFS什么是HDFS文件系统?HDFS是大数据开源框架hadoop的组件之一,全称(Hadoop Distributed File System),它是一个分布式文件系统,由多台服务器联合起来实现文件存储功能,通过目录树来定位文件,集群中的服务器都有有各自的角色。HDFS文件系统有什么特点?1.数据通过副本存储,提高容错性2.能够处理PB级及以上数据,可处理百万级文件数量3.节约成本,可分布在“廉价”机器上4.不适合低延时数据访问5.不适合对大量文件的存储和访问6.单线程原创 2020-07-26 22:23:44 · 238 阅读 · 0 评论 -
Linux知识点总结
Linux作为目前在服务器端应用最广泛的系统之一,学好它无疑是非常重要的。Linux作为一款字符串操作为主流的系统,学好它其实并不容易。刚接触Linux时,它琐碎的操作命令耗费了不少的精力,但是随着更进一步的了解,Linux的种种优点也会让你在学习的过程中获得不小的成就感。2、Linux的了解Linux分为内核版和发行版,Linux 内核版本又分为 稳定版 和 开发版,两种版本是相互关联,相互循环。发行版也被叫做 GNU/Linux 发行版,通常包含了包括桌面环境、办公套件、媒体播放器、数据库等应用软件原创 2020-07-02 22:06:14 · 284 阅读 · 0 评论