- 博客(4)
- 收藏
- 关注
RSS订阅原创 NameNode和SecondaryNameNode
NameNode和SecondaryNameNode1. NN和2NN工作机制NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带...
2019-09-06 13:02:23
209
原创 Hadoop集群环境搭建
大数据专栏 | Hadoop集群环境搭建附软件下载地址:Hadoop官网下载：https://hadoop.apache.org/releases.htmlJDK下载：https://www.oracle.com/technetwork/java/javase/downloads/index.htmlCentOS下载：http://isoredirect.centos.org/cento...
2019-08-15 20:39:25
108
原创 Spark集群安装
环境配置JDK1.8+Scala 2.11.12Hadoop2.6.401Spark安装下载：https://spark.apache.org/downloads.html由于Hadoop 我安装的是 2.6.4 版本的，这里就不选择最新版 Spark了。上传到Linux：上传spark-2.3.3-bin-hadoop2.6.tgz安装包到L...
2019-08-15 20:27:23
218
原创 HDFS详解（理论知识）
HDFS详解（理论知识）HDFS 工作机制工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力）很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解概述：HDFS集群分为两大角色：NameNode、DataNodeNameNod...
2019-08-15 19:59:34
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人