hadoop-hdfs完全分布式搭建

搭建如下hdfs集群 eg.

nn吃内存 单独占服务器

 停掉伪分布式集群

测：

 清掉多余资源

 重新生成 .ssh文件(家目录)

一、免秘钥登录其他节点  公钥分发出去

拷贝当前节点公钥到node02节点当前目录下 重命名标识谁的公钥

node03 node04同理

node03 node04同理

 公钥追加到认证文件

 node03 node04同理

验证免秘钥登录：

 

免秘钥完毕---------------

二、各节点安装JDK

注意：勿忘 分发/etc/profile文件

三、部署Hadoop包并分发

full文件夹放 nn的元数据  dn的block数据 和 snn的持久化数据

副本数为2 注意副本数不能超过datanode的节点数  默认是datanode的节点数

本配置ssn在node02上

 

带配置的Hadoop分发到node02节点

 node03 node04同理

下一步：格式化唯一ID

测：

即成功

下一步:在namenode上启动集群

测：各节点上jps命令验证

界面查看

创建文件夹

拓展：

 显示兆

查看hdfs帮助命令

 blocksize 默认块大小128兆

1兆 1M = 1024K =1024*1024 bytes = 1048576 bytes 字节

以块大小为1M 将test.txt放到hdfs集群 默认为家目录 即/usr/root

 

 

底层是按字节去切割的

但是汉字如果以utf-8编码 1个汉字是2-3字节怎么切呢

后续 mapReduce解决。。