hdfs [服务端]
一、安装包上传至服务器并解压
二、修改配置文件
1) 指定hadoop的默认文件系统为:hdfs
2) 指定hdfs的namenode节点为哪台机器
3) 指定namenode软件存储元数据的本地目录
4) 指定datanode软件文件块的本地目录
hadoop的配置文件在:path/to/hadoop/etc/hadoop
- 修改hadoop-env.sh
export JAVA_HOME=/path/to/jdk - 修改core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hostname:9000</value> </property> </configuration>
- 修改hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/path/to/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/path/to/data</value>
</property>
<!--关闭ip -> 域名检查(如果core-site.xml中配置的是ip:port形式,添加此配置)-->
<property>
<name>dfs.namenode.datanode.registration.ip-hostname-check</name>
<value>false</value>
</property>
</configuration>
部署
拷贝整个hadoop安装目录到其它机器
scp -r /path/to/hadoop hostname:/path/to/hadoop
启动(单节点启动)
- 初始化namenode的元数据目录(在namenode机器上执行)
hadoop namenode -format创建了一个全新的元数据存储目录
生成了记录元数据的文件fsimage
生成了集群的相关标识:如 集群id——clusterID - 启动namenode进程
hadoop-daemon.sh start namenode
启动完成后,首先使用jps命令查看一下namenode的进程是否存在
> http://hostname:50070 # 可用该地址查看网页形式
- 启动datanode
hadoop-daemon.sh start datanode
集群启动(脚本方式)
- 先配置hadp-01机器到集群中所有机器(包含自己)的免密登录
- 配置完免密后,可执行一次 ssh 0.0.0.0
- 修改hadoop安装目录中 /path/to/hadoop/etc/hadoop/slaves(把需要启动datanode进程的节点列入)
hdp-01
hdp-02
hdp-03
hdp-04
hdp-05 - 在hdp-01上用脚本:start-dfs.sh来启动整个集群
- 如果要停止,则用脚本:stop-dfs.sh
写在最后
欢迎留言私信讨论;
文章有知识性错误请立马联系博主,博主将非常感谢;
无需经过允许即可随意使用转载,知识本来就是被广泛用来学习的;
非常感谢您能看到此处,本文为博主学习笔记,如有不同见解,请不吝赐教。