边看边学

由三个组件构成：Namenode、SecondaryNamenode、DatanodeNamenode管理着文件系统的命名空间，维护着文件系统树，及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件（fsimage）和编辑日志文件（edits）。NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块的位置信息，因为这些信息在系统启...

Hadoop官网地址：hadoop.apache.orgSpark官网地址：spark.apache.org学习过程中，一般使用伪分布式，使用集群目的是为了学习企业环境中的HA。HDFS：NN、SNN(checkpoint)、DN这是单点模式，NN挂了就不能对外提供服务，SNN只是冷备。所以需要两个NN做HA，一个active一个standby，active的NN对外服务，standby的...

部署环境:3台阿里云主机，2core8GB，centos7.2ruozedata001 172.24.151.60（私）ruozedata002 172.24.151.55（私）ruozedata003 172.24.151.58（私）配置免密useradd hadoopsu - hadoopmkdir app data lib maven_repos softwar...

public class HDFSApp { public static final String HDFS_PATH = "hdfs://192.168.228.100:9000"; Configuration configuration; FileSystem fileSystem; @Before public void setUp() throw...