大数据
数锯君
这个作者很懒,什么都没留下…
展开
-
HDFS详解(理论知识)
HDFS详解(理论知识) HDFS 工作机制 工作机制的学习主要是为加深对分布式系统的理解,以及增强遇到各种问题时的分析解决能力,形成一定的集群运维能力) 很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用,但实际并非如此。要想将技术准确用在恰当的地方,必须对技术有深刻的理解 概述: HDFS集群分为两大角色:NameNode、DataNode NameNod...原创 2019-08-15 19:59:34 · 262 阅读 · 0 评论 -
Spark集群安装
环境配置 JDK1.8+ Scala 2.11.12 Hadoop2.6.4 01Spark安装 下载:https://spark.apache.org/downloads.html 由于Hadoop 我安装的是 2.6.4 版本的,这里就不选择最新版 Spark了。 上传到Linux: 上传spark-2.3.3-bin-hadoop2.6.tgz安装包到L...原创 2019-08-15 20:27:23 · 219 阅读 · 0 评论 -
Hadoop集群环境搭建
大数据专栏 | Hadoop集群环境搭建 附软件下载地址: Hadoop官网下载:https://hadoop.apache.org/releases.html JDK下载:https://www.oracle.com/technetwork/java/javase/downloads/index.html CentOS下载:http://isoredirect.centos.org/cento...原创 2019-08-15 20:39:25 · 108 阅读 · 0 评论 -
NameNode和SecondaryNameNode
NameNode和SecondaryNameNode 1. NN和2NN工作机制 NameNode中的元数据是存储在哪里的? 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。 这样又会带...原创 2019-09-06 13:02:23 · 209 阅读 · 0 评论