linux安装Hadoop

一、Hadoop分布式计算存储框架

 

二、HDFS组成角色和功能

1、Client：客户端

2、NameNode：元数据节点

管理文件系统的Namespace 元数据

一个HDFS集群只有一个Active的NN

3、Secondary NameNode：从元数据节点

合并NameNode的edit logs到fsimage文件中

辅助NN将内存中元数据信息持久化

4、DataBode：数据节点

数据存储节点，保存和检索Block

一个集群可以有多个数据节点

三、HDFS副本机制

Block：数据块

HDFS最基本的存储单元

默认块大小：128M（2X）

副本机制

1、作用：避免数据丢失

2、副本数默认为3

3、存放机制：

一个在本地机架节点

一个在同一个机架不同节点

一个在不同机架的节点

四、HDFS优缺点

优点	缺点
1、高容错性	1、不适合延时数据访问场景 2、不适合小文件存取场景 3、不适合并发写入，文件随机修改场景
2、适合大数据处理
3、流式数据访问
4、可构建在廉价的机器上

• HDFS CLI(shell命令行)

基本格式

hdfs dfs -cmd <args>

hadoop fs -cmd <args>

查看可用命令

hdfs dfs

lunix安装Hadoop步骤

一、上传Hadoop文件

[root@kb129 ~]# cd /opt/kb23/shell

[root@kb129 shell]# ls

hadoop-3.1.3.tar.gz         mysql-8.0.30-linux-glibc2.12-x86_64.tar.xz

jdk-8u321-linux-x64.tar.gz

二、解压文件到指定文件内

[root@kb129 install]# tar -zxf ./hadoop-3.1.3.tar.gz -C ../soft/

[root@kb129 install]# cd ../soft/

三、改名字为Hadoop313

[root@kb129 soft]# mv hadoop-3.1.3/ hadoop313

三、授权

[root@kb129 soft]# chown -R root:root ./hadoop313/

四、/etc/profile/配置镜像文件

# HADOOP_HOME export HADOOP_HOME=/opt/soft/hadoop313 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export HDFS_JOURNALNODE_USER=root export HDFS_ZKFC_USER=root