hadoop安装使用

Hadoop官方地址：

http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation

1.安装jdk

2.ssh免秘钥登录

官网

官网

原理 公钥分发出去 追加到keys文件中

3.部署hadoop包

mkdir /opt/mysoft

cd 家目录  可看到各种启动命令

 技巧：cd - 回到之前所在的目录

bin目录

 

sbin目录

startall stopall 不要用 有问题！

Hadoop配置文件

配置成jdk的绝对路径 为了远程访问

即

上面配置意思1. 指明namenode在哪  2.指明副本数

技巧：不写localhost写主机名称如node01

官网还有其他配置

配置更改要点：

要更改下图1的hadoop临时目录

 因为namenode元数据和datanode数据的持久化目录都是引用的Hadoop的临时系统目录

注意：etc/hadoop/core-site.xml更改点  作用:1指明namenode位置 2保持持久化数据安全 标红要注意

技巧：软件存入Linux的opt目录  数据存入Linux的var目录

注意：etc/hadoop/hdfs-site.xml更改点  作用:1指明副本数 2指明secondary的节点 标红要注意

实际情况有很多节点 有很多主机名  作用：配置datanode即数据

 

官方文档：

 

成功提示：

会按照前面指定的Hadoop的临时目录生成对应文件夹和文件

如下所示

每格式化一次就会产生一次clusterId 启动只格式化一次

--------

注意：name和data的clusterId一致才能通信 否则会消失

浏览器启动web-ui界面：

dfs命令帮助实例

如文件操作

在界面可以看到

再如 上传文件