hadoop
往事随风_h
感谢互联网,让我在知识的海洋遨游了一年又一年,为了感谢广大网友,我也把所学知识分享,咱们一起进步!
展开
-
HDFS 写流程和读流程
HDFS写流程: 1、客户端向NameNode发起写数据请求 2、分块写入DataNode节点,DataNode自动完成副本备份 3、DataNode向NameNode汇报存储完成,NameNode通知客户端 HDFS读流程: 1、客户端向NameNode发起读数据请求 2、NameNode找出距离最近的DataNode节点信息 3、客户端从DataNode分块下载文件 ...原创 2020-08-12 16:52:56 · 4316 阅读 · 0 评论 -
MapReduce与spark的区别--内容详细
Hadoop MapReduce采用了多进程模型,而Spark采用了多线程模型: Apache Spark的高性能一定程度上取决于它采用的异步并发模型(这里指/driver 端采用的模型),这与Hadoop 2.0(包括YARN和MapReduce)是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型,实现方式是epoll+状态机,而Apache Spark则直接采用了开源软件Akka,该软件实现了Actor模型,性能非常高。尽管二者在server端采用了一致的并发模型,但在任务级别(特指原创 2020-08-07 16:49:59 · 5276 阅读 · 0 评论 -
hadoop基本试题
以下内容纯手敲,转载请说明出处。 都是一些很基础的知识,各位看官不喜勿喷。 ·······················我假装是分割线T-T···························· 1.简单描述你对Hadoop集群SafeMode模式的理解? 集群处于安全模式,不能执行重要操作(写操作),集群属于只读状态。但是严格来说,知识保证HDFS元数据信息的访问,而不保证文件的访问。集群启...原创 2019-12-10 14:32:12 · 9274 阅读 · 0 评论