文章目录
一、HDFS简单介绍
HDFS包含以下组件:
组件 | 作用 |
---|---|
DataNode (dn) | 所有数据均在此 |
NameNode (nn) | 存储元数据,找数据的索引(主刀医生) |
Secondary NameNode (2nn) | 非必要,设置检查点用于帮助NameNode(护士) |
二、配置集群
以下配置文件均在 /opt/module/hadoop-2.7.2/etc/hadoop
路径下
1、配置:hadoop-env.sh
Linux系统获取JDK的安装路径:
echo $JAVA_HOME
修改JAVA_HOME路径:
export JAVA_HOME=/opt/module/jdk1.8.0_144
【注】本步骤在上一篇文章安装Java和Hadoop后为测试程序运行已经完成了
2、配置:core-site.xml
在configuration标签内加入以下内容:
<!-- 指定HDFS中的NameNode的地址 -->
<property>
<!-- 将默认文件系统改为了HDFS文件系统hadoop002:9000 -->
<name>fs.defaultFS