大数据课程实验总结（五）--HDFS简介与配置及SSH免密登录

HDFS简介

• HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是针对谷歌文件系统GFS（Google File System）的开源实现，它是Hadoop两大核心组成部分之一，提供了在廉价服务器集群中进行大规模分布式文件存储的能力。HDFS具有良好的容错能力，并且兼容廉价的硬件设备，因此开源以较低的成本利用现有机器实现大流量和大数据量的读写。
• NameNode 即“名称节点” 又称“主节点（Master Node）”; NameNode提供文件名和数据映射服务,hadoop3.0后可以有多个NameNode。
• DataNode即“数据节点” 又称“从节点（Slave Node）”提供真正的数据存储。文件分块，一块有多个备份，分布在多个DataNode上提供健壮冗余。DataNode可以动态增加。DataNode需要知道NameNode的ip，然后向NameNode动态的注册自己，形成集群

实验准备

本实验承接大数据课程实验总结（四）–hadoop-2.7.3的安装和配置，在此基础上继续操作。

主机名	IP	角色
master	192.168.50.100	NameNode
slave1	192.168.50.101	DataNode
slave2	192.168.50.102	DataNode
slave3	192.168.50.103	DataNode

配置HDFS

在上次实验中已经实现了jdk和hadoop的安装和环境变量的配置，详情见hadoop-2.7.3的安装和配置，进而继续配置HDFS：
在所有机器上 修改配置文件 core-site.xml,位置在/usr/local/hadoop/etc/hadoop；目的就是每台机器都要知道master的ip：
打开虚拟机与XShell建立连接，开启瓷砖排序和发送键输入到所有会话功能：

cd /usr/local/hadoop/etc/hadoop/
vim core-site.xml

初始文件如下图：

在文件低端标签内加入以下内容：

<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>

如图所示：

修改slaves文件此步骤只需在master主机上操作
点击master页面右上角按钮，关闭发送键盘输入的所有会话功能，如图：

vim /usr/local/hadoop/etc/hadoop/slaves 

编辑完成后esc退出编辑状态，wq保存并退出；
继续开启发送键盘输入的所有会话功能，进行接下来的操作

格式化hadoop

hdfs namenode -format

手动启动：

hadoop-daemon.sh  start namenode
hadoop-daemon.sh  start datanode

jps验证：

jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当. 简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。用于查看当前服务器中的java进程，类似于ps -ef | grep java，不同之处是它是由jdk提供的，可以输出JVM中运行的进程状态信息，因此它也可以用于jvm的监控和调优，参考

验证成功，正常启动！

网页验证：

打开浏览器输入：http://[NameNodeIP]:50070

http://192.168.50.100:50070

如图：


已配置成功。

设置SSH免密登录

操作步骤：

此处所有操作仅需在master上进行

• 执行命令，生成key：

ssh-keygen -t rsa

出现提示后回车（多次）即可，出现以下界面则说明已经成功生成key：

• 执行命令，将生成的公钥id发送到slave1机器上：

ssh-copy-id slave1

提示输入slave1的密码，正确输入后出现如下界面：

• 重复执行上一个操作，将将生成的公钥id发送到slave2和slave3；
  

测试免密登录：

输入命令,测试slave1的免密登录：

ssh slave1 

输入exit登出。
分别测试slave2和slave3，如图：

---

结语

本文是在实验过程中进行记录和总结的。由于本人初学，可能存在行文不当或错误之处，还望各位大佬多多谅解，欢迎指正。