![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
Empty-cup
这个作者很懒,什么都没留下…
展开
-
HDFS原理
由三个组件构成:Namenode、SecondaryNamenode、Datanode Namenode 管理着文件系统的命名空间,维护着文件系统树,及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件(fsimage)和编辑日志文件(edits)。NameNode也记录着每个文件中各个块所在的数据节点信息,但它并不永久保存块的位置信息,因为这些信息在系统启...原创 2019-06-14 16:28:13 · 170 阅读 · 0 评论 -
HDFS和YARN的HA架构剖析和对比
Hadoop官网地址:hadoop.apache.org Spark官网地址:spark.apache.org 学习过程中,一般使用伪分布式,使用集群目的是为了学习企业环境中的HA。 HDFS:NN、SNN(checkpoint)、DN 这是单点模式,NN挂了就不能对外提供服务,SNN只是冷备。所以需要两个NN做HA,一个active一个standby,active的NN对外服务,standby的...原创 2019-08-18 18:02:23 · 194 阅读 · 0 评论 -
HDFA(HA)和YARN(HA)部署(3个节点)
部署环境:3台阿里云主机,2core8GB,centos7.2 ruozedata001 172.24.151.60(私) ruozedata002 172.24.151.55(私) ruozedata003 172.24.151.58(私) 配置免密 useradd hadoop su - hadoop mkdir app data lib maven_repos softwar...原创 2019-08-21 19:40:46 · 476 阅读 · 0 评论 -
HDFS的JAVA API操作
public class HDFSApp { public static final String HDFS_PATH = "hdfs://192.168.228.100:9000"; Configuration configuration; FileSystem fileSystem; @Before public void setUp() throw...原创 2019-08-30 22:14:28 · 111 阅读 · 0 评论