![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据---hadoop
文章平均质量分 79
可爱的杨一凡
这个作者很懒,什么都没留下…
展开
-
NameNode、SecondaryNameNode和DataNode工作机制
NameNode、SecondaryNameNode和DataNode工作机制 1.NN和2NN工作机制 思考:NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元...原创 2020-02-05 12:53:00 · 215 阅读 · 0 评论 -
HDFS的数据流
HDFS的数据流 1.1 HDFS写数据流程 1.1.1 剖析文件写入 HDFS写数据流程,如图所示。 1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 2)NameNode返回是否可以上传。 3)客户端请求第一个 Block上传到哪几个DataNode服务器上。 4)NameNode返回3个D...原创 2020-02-04 11:47:52 · 1588 阅读 · 0 评论 -
大数据技术之Hadoop(分布式集群搭建与HDFS命令)
大数据技术之Hadoop(分布式集群搭建与HDFS命令) 1.分布式集群搭建 1.1集群部署规划 1.2集群的搭建 1.2.1 创建三台新虚拟机并配置好网络(上篇博客中讲过) 1.2.2 创建三个新的hadoop111、hadoop112、hadoop113(注意IP不要一样) 1.2.3 三台连接到Xshell(注意:IP名字对应) 1.2.4 三台分别下载vim: yum ...原创 2020-02-03 19:39:59 · 473 阅读 · 0 评论 -
大数据技术之Hadoop(伪分布搭建)
大数据技术之Hadoop(伪分布搭建) 1.1 Hadoop是什么? 1.2 Hadoop三大发行版本 Hadoop三大发行版本:Apache、Cloudera、Hortonworks。 Apache版本最原始(最基础)的版本,对于入门学习最好。 Cloudera在大型互联网企业中用的较多。 Hortonworks文档较好。 1. Apache Hadoop 官网地址:http://hadoop...原创 2020-02-02 20:36:54 · 576 阅读 · 0 评论