HDFS3的简介、安装、部署与简单使用

最新推荐文章于 2022-06-22 11:23:57 发布
最新推荐文章于 2022-06-22 11:23:57 发布
阅读量1.1k 收藏 7
点赞数
分类专栏： Alluxio 技术与问题 文章标签： hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46307478/article/details/120497814
版权

HDFS的安装部署

下载地址：Index of /dist/hadoop/common (apache.org)

一、简介

Hadoop（四）HDFS集群详解 - jstarseven - 博客园 (cnblogs.com)

大数据分布式文件存储系统–HDFS - 知乎 (zhihu.com)

HDFS前言：

设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。

在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。

preview

​ HDFS采用了主从式（Master/Slave）的体系结构，分NameNode、econdaryNameNode、DataNode这几个角色。

​ NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；
　　　　SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。
　　　　DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作。

img

​ 先来看看hdfs架构中的namenode。namenode是一个进程在某一个节点(机器)上，本身维护一块内存区域。内存中存储两份最重要的数据(元数据通过datanode通过心跳机制保证，datanode有新增数据，通过心跳机制告诉namenode)：

  • 1.文件名->block数据块的映射关系(mapping关系)
  • 2.block数据块到datanode节点之间的映射关系

本质：通过block数据块找到数据真正存储的本地地址。

preview

整个1、2、3数据块合起来就是文件的内容。

比如说，取快递，首先会收到快递信息，信息有快递存放的地址和快递箱。通过这个信息就能找到快递，相当于手机就是NN(主)，通过查看收集上的快递信息(NN上的文件名与block数据块映射信息)，找到快递是存在哪个快递箱里(找到对应的DN)，再到指定的快递箱(DN)输入对应的编码(block数据块到dn节点之间的映射关系)，就能取到对应的快递(数据)。

在存储数据时，首先要找NN分配DN来写入数据。hdfs默认会存储三份数据副本。

1.NameNode(NN)作用:

  • 管理着文件系统命名空间
  • 存储元数据
  • 保存文件，block, datanode之间的映射关系
  • 元信息持久化
  • 运行 Namenode会占用大量内存和I/O资源
  • Hadoop更倾向存储大文件原因

为什么hadoop更倾向于存储大文件？

namenode内存有限，如果内存存放大量小文件，会占用大量内存和I/O资源，使得集群反应速度慢。所以，hadoop不适合存储大量的小文件。hdfs1.0的块大小是64M，hdfs2.0是128M。
总结：
1.对于集群硬盘资源造成严重浪费；
2.nn本身内存有限，造成namenode内存溢出；

img

假设有一个块，大小64m，但是存储的文件大小是10m，就浪费了54m的空间，对集群的硬盘资源造成了严重浪费。

2.DataNode(NN)作用

  • 负责存储数据块，负责为系统客户端提供数据块的读写服务
  • 根据 Namenodel的指示进行创建、删除和复制等操作
  • 心跳机制，定期报告文件块列表信息

3.容错–数据可靠性

  • 一个NN和多个DN

  • 故障检测

    • 数据节点

      • 心跳包(检测是否宕机)：dn和nn随时保持心跳，3s一次，保证集群可靠性；
      • 快报告（安全模式下检测）
      • 数据完整性检测（校验和比较–crc32）

  • 空间回收机制

    • Trash目录：-skipTrash（删除的文件跳过回收站直接删除）

  • 数据复制(冗余机制)

    • 副本-数据冗余存放(机架感知策略)

  • snn，保证镜像文件数据可以恢复；

4.HDFS特点

优点
  • 存储并管理PB级数据
  • 处理非结构化数据
  • 注重数据处理的吞吐量（延迟不敏感）
  • 应用模式：write-once-read-many存取模式（无数据一致性问题）
缺点

  • 存储小文件（不建议）

  • 大量随机读（不建议）

  • 需要对文件修改（不建议）

    • 对文件修改会影响块进行重新分配，块分配又会影响到和多个dn节点间进行网络通讯；

  • 多用户写入（不支持）

hdfs不适合场景

存储海量小文件
文件被修改
大量随机读取，对于大数据的文件读取，更倾向于顺序读，因为随机读取需要寻址，浪费时间影响效率，而且顺序读取的效率会比内存读取要高

二、集群环境搭建

虚拟机上准备三台服务器，可以考虑通过克隆来快速创建。

克隆服务器

以下是针对每一台服务器的操作。

1)修改主机名
hostnamectl set-hostname clu00
hostnamectl set-hostname clu01
hostnamectl set-hostname clu02
2)配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#三台服务器根据虚拟机中的网络设置，确定IP段，分别设置不同的IP
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"		#静态IP
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="2d20e204-e445-4dd0-adaa-82ca0e5c5d03"
DEVICE="ens33"
ONBOOT="yes"			#开启网络
IPADDR=192.168.81.10	#设置IP
GATEWAY=192.168.81.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
DNS2=8.8.4.4


#配置完后，重启网络
systemctl restart network
3)添加主机和IP的映射
vim /etc/hosts

#注释或删除原有内容，添加如下内容
192.168.81.10 clu00
192.168.81.11 clu01
192.168.81.12 clu02
4)关闭防火墙
#查看：
systemctl status firewalld.service

#关闭：
systemctl stop firewalld.service  

#启动：
systemctl start firewalld.service
5)创建hadoop用户
(base) [root@clu00 ~]# useradd hadoop
(base) [root@clu00 ~]# passwd hadoop

#用户名，密码均为hadoop
6)设置免密登陆

注意，由于涉及启动的操作权限问题，此处的免密登陆统一采用hadoop用户

[hadoop@clu00 ~]$ ssh-keygen
[hadoop@clu01 ~]$ ssh-keygen
[hadoop@clu02 ~]$ ssh-keygen

[hadoop@clu00 ~]$ ssh-copy-id clu00
[hadoop@clu00 ~]$ ssh-copy-id clu01
[hadoop@clu00 ~]$ ssh-copy-id clu02

[hadoop@clu01 ~]$ ssh-copy-id clu00
[hadoop@clu01 ~]$ ssh-copy-id clu01
[hadoop@clu01 ~]$ ssh-copy-id clu02

[hadoop@clu02 ~]$ ssh-copy-id clu00
[hadoop@clu02 ~]$ ssh-copy-id clu01
[hadoop@clu02 ~]$ ssh-copy-id clu02

三、Java开发环境部署

1）yum安装方式

安装java

yum list java*								#检索包含java的列表
yum install -y java-1.8.0-openjdk.x86_64	#选择需要的版本进行安装
#安装默认的目录为：/usr/lib/jvm/
java -version								#查看java版本
#以上安装完只有java，没有javac命令

yum install java-1.8.0-openjdk-devel.x86_64	#安装完整的java开发环境

java环境变量的配置

​ 通过 yum install 安装 jdk，是不会自动配置 JAVA_HOME 环境变量的。如果有一些服务依赖这个环境变量就会启动失败。需要手动配置 JAVA_HOME 环境变量。

#找到JDK的安装路径
(base) [root@song jvm]# which java
/usr/bin/java
(base) [root@song jvm]# ls -lr /usr/bin/java
lrwxrwxrwx. 1 root root 22 Sep 22 16:32 /usr/bin/java -> /etc/alternatives/java
(base) [root@song jvm]# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 73 Sep 22 16:32 /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el7_9.x86_64/jre/bin/java

#一步步找到正确的 JAVA_HOME 位置：
/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el7_9.x86_64

#配置JAVA_HOME
vim /etc/profile

#在里面添加以下配置
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.302.b08-0.el7_9.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

#让配置生效
source /etc/profile

#测试是否成功
echo $JAVA_HOME
2）安装包安装方式
#下载解压(base) [root@clu00 ~]# mkdir /usr/java(base) [root@clu00 usr]# cd java(base) [root@clu00 java]# lsjdk-8u301-linux-x64.tar.gz(base) [root@clu00 java]# tar -xvf  jdk-8u301-linux-x64.tar.gz #配置环境变量export JAVA_HOME=/usr/java/jdk1.8.0_301export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport PATH=$PATH:$JAVA_HOME/bin

四、HDFS的安装部署

以下未特别指明，就是在每一台服务器的操作。可以重复操作，也可以配置完毕后直接scp拷贝传输修改后的文件。

尽量不使用root用户来操作，使用hadoop

root用户下,赋予hadoop的sudo权限

visudo
#添加hadoop的权限

root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL

1.下载解压安装包

下载地址：Index of /dist/hadoop/common (apache.org)

[hadoop@clu00 ~]$ ls
hadoop-3.3.0.tar.gz
[hadoop@clu00 ~]$ tar -xvf hadoop-3.3.0.tar.gz

2.添加环境变量

所有服务器都要配置修改。

[hadoop@clu00 ~]$ sudo vim /etc/profile

#添加如下内容，地址根据自己的实际路径指定
export HADOOP_HOME=/home/hadoop/hadoop-3.3.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

#修改后要让配置生效
[hadoop@clu00 ~]$ source /etc/profile

3.修改配置文件

HDFS的配置文件：大多数默认是XML和TXT格式存在。配置文件默认存放在/etc/hadoop目录下。

HDFS中6个重要的配置文件：

  1. core-site.xml:Hadoop全局的配置文件，也包含一些HDFS的宏观配置。
  2. dfs-site.xml:HDFS配置文件。
  3. yarn-site.xml:YARN配置文件。
  4. mapred-sie.xml:MapReduce配置文件。
  5. slaves:从节点列表。
  6. hadoop-env.sh:与运行脚本的环境变量相关的配置文件。

在主节点

[hadoop@clu00 ~]$ cd /home/hadoop/hadoop-3.3.0
[hadoop@clu00 hadoop-3.3.0]$ ls
bin  include  libexec         licenses-binary  NOTICE-binary  README.txt  share
etc  lib      LICENSE-binary  LICENSE.txt      NOTICE.txt     sbin
[hadoop@clu00 hadoop-3.3.0]$ mkdir hdfs/tmp -p
[hadoop@clu00 hadoop-3.3.0]$ mkdir hdfs/name -p
[hadoop@clu00 hadoop-3.3.0]$ mkdir hdfs/data -p
1).hadoop-env.sh
[hadoop@clu00 hadoop-3.3.0]$ cd etc/hadoop/
[hadoop@clu00 hadoop]$ vim hadoop-env.sh 
#修改添加如下内容，实际路径根据自己jdk路径
export JAVA_HOME=/usr/java/jdk1.8.0_301
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
2).core-site.xml
[hadoop@clu00 hadoop]$ vim core-site.xml 

#要指定集群的Namenode以及对应端口，此处为clu00:9000
#
<configuration>
     <property><!--指定namenode的地址-->
         <name>fs.defaultFS</name>
         <value>hdfs://clu00:9090</value>
     </property>
     <property><!--用来指定使用hadoop时产生文件的存放目录-->
         <name>hadoop.tmp.dir</name>
         <value>/home/hadoop/hadoop-3.3.0/hdfs/tmp</value>
     </property>
</configuration>
3).hdfs-site.xml

hdfs-site.xml:HDFS的重要配置文件，其Namenode节点和Datanode节点相关的配置项不同。

Namenode主要有3个配置项:dfs.namenode.name.dir、dfs.blocksize、dfs.replication。

Datanode主要有1个配置项：dfs.datanode.data.dir。

//Namenode主要有3个配置项dfs.namenode.name.dir、dfs.blocksize、dfs.replication。
//Datanode主要有1个配置项dfs.datanode.data.dir 

[hadoop@clu00 hadoop]$ vim hdfs-site.xml


<configuration> 
    <property> 
        <name>dfs.namenode.name.dir</name>                 
        <value>/home/hadoop/hadoop-3.3.0/hdfs/name</value> 
         <!--namenode的目录位置，对应的目录需要存在value里面的路径--> 
    </property>

    <property> 
        <name>dfs.datanode.data.dir</name>         
        <value>/home/hadoop/hadoop-3.3.0/hdfs/data</value>
        <!--datanode的目录位置，对应的目录需要存在value里面的路径，可以是一个或多个用逗号分隔的本地路径-->       
    </property> 

    <property> 
          <name>dfs.replication</name> 
        <value>3</value> 
        <!--hdfs系统的副本数量--> 
    </property> 

    <property> 
        <name>dfs.namenode.secondary.http-address</name>     
        <value>clu01:50090</value> 
        <!--备份namenode的http地址，clu00是主机名-->
    </property> 
</configuration>
4)mapred-site.xml
[hadoop@clu00 hadoop]$ vim mapred-site.xml


<configuration>	
	<property>
         <name>yarn.resourcemanager.hostname</name>
         <value>clu00</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
      </property>
</configuration>
5) yarn-site.xml
[hadoop@clu00 hadoop]$ vim yarn-site.xml

<configuration>	
	<property>
         <name>yarn.resourcemanager.hostname</name>
         <value>clu00</value>
     </property>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
      </property>
</configuration>
6)workers
[hadoop@clu00 hadoop]$ vim workers
#
clu01
clu02

4.拷贝hadoop文件

[hadoop@clu00 hadoop]$ scp -rq /home/hadoop/hadoop-3.3.0 clu01:/home/hadoop/
[hadoop@clu00 hadoop]$ scp -rq /home/hadoop/hadoop-3.3.0 clu02:/home/hadoop/

提示：若未通过克隆来得到统一的jdk环境，也可以通过scp来拷贝传输；以及环境变量文件。

提示：若未通过克隆来得到统一的jdk环境，也可以通过scp来拷贝传输；以及环境变量文件。

注意：任何配置修改后，都需要同步到集群所有节点上，再进行启动。

5.启动

[hadoop@clu01 ~]$ cd /home/hadoop/hadoop-3.3.0/sbin/
[hadoop@clu01 sbin]$ hdfs namenode -format		#第一次启动时，才需要格式化格式化主节点
#出现下面即成功
2021-09-26 17:22:23,322 INFO common.Storage: Storage directory /home/hadoop/hadoop-3.3.0/hdfs/name has been successfully formatted.


[hadoop@clu01 sbin]$ ./start-dfs.sh				#统一启动
[hadoop@clu00 sbin]$ ./start-all.sh				#启动所有


[hadoop@clu00 sbin]$ ./stop-dfs.sh 				#统一关闭

提示：启动过程中若出现操作权限问题，被拒绝，查看前面此刻的用户是否与前面设置免密登陆的用户一致，推荐都是用hadoop用户。

6.测试

#主中心
[hadoop@clu00 sbin]$ jps
23090 NameNode
23350 Jps


#子中心
[hadoop@clu01 hadoop]$ jps
6384 DataNode
6497 SecondaryNameNode
6531 Jps
[hadoop@clu02 ~]$ jps
4672 DataNode
4735 Jps

7.Web界面访问

访问hadoop web输入192.168.81.10:9870

(hadoop3.0之后端口改成了9870，hadoop2.0是50070)

image-20210923214309111

image-20210923220220069

遇到的问题：

1)主节点启动后jps没有namenode，可能由于第一次启动，忘记格式化namenode

[hadoop@clu01 sbin]$ hdfs namenode -format

2)在目录进行操作，显示没有权限

image-20210923220957661

[hadoop@clu00 hadoop]$ vim core-site.xml 
#添加以下内容，忽略权限检查
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

#修改配置后要在集群中同步配置
[hadoop@clu00 hadoop]$ scp -rq /home/hadoop/hadoop-3.3.0/etc/hadoop/core-site.xml clu01:/home/hadoop/hadoop-3.3.0/etc/hadoop/
hadoop@clu01's password: 
[hadoop@clu00 hadoop]$ scp -rq /home/hadoop/hadoop-3.3.0/etc/hadoop/core-site.xml clu02:/home/hadoop/hadoop-3.3.0/etc/hadoop/

#关闭重启HDFS，以使配置生效
[hadoop@clu00 sbin]$ ./stop-dfs.sh
[hadoop@clu00 sbin]$ ./start-dfs.sh

3）启动hadoop集群后，查看进程发现名称节点的NameNode进程启动了，但是数据节点的DataNode进程没有启动。

原因为多次格式化namenode导致的namenode与datanode之间的不一致导致。

解决方法：

#停止集群
[hadoop@clu00 sbin]$ ./stop-dfs.sh			

[hadoop@clu00 hadoop]$ vim hdfs-site.xml
#删除datanode存放数据的路径，可以在hdfs-site.xml中查看

image-20210926174418523

#在所有节点执行删除操作
[hadoop@clu00 hadoop]$ rm -rf /home/hadoop/hadoop-3.3.0/hdfs/data/*

#重新格式化，启动集群
[hadoop@clu00 sbin]$ hdfs namenode -format
[hadoop@clu00 sbin]$ ./start-all.sh

hadoop集群启动后datanode没有启动_huss’s blog-CSDN博客_hadoop集群启动没有datanode

4）无法上传文件

image-20210923223844197

原因 : win10的hosts没有配置ip映射,无法解析域名clu00

解决办法：

点击此路径：C:\Windows\System32\drivers\etc

找到hosts，win10直接打开hosts是不可以更改的，所以怎么办呢？

将hosts文件复制到桌面(当然你可以复制到你想复制的地方），然后打开hosts文件，添加内容。

然后将写好的hosts文件Ctrl c，再次打开此路径C:\Windows\System32\drivers\etc。

Ctrl v 将文件粘贴到里边，提醒你有个一样的要不要替换目标文件。选择替换，OK

image-20210923224525907

成功解决！

五、HDFS的简单使用

作为文件系统，HDFS的使用主要指对文件的上传、下载和移动，以及查看内容、建立或删除目录等。

查看HDFS状态，主要指查看节点的健康状态，查看存储容量，查看分块信息等。

控制HDFS，主要指对系统进行初始化，增加或删除子节点，以及提高HDFS的可用性等。

5.1 管理和操作命令

hdfs的命令行操作用命令hdfs实现，即命令行敲入：hdfs.

hdfs命令文件放在Hadoop目录下的bin子目录中，包含了HDFS绝大多数的用户命令，不带任何参数地执行hdfs，可以看到所有可用的指令。

  1. dfs:HDFS的文件系统操作指令。
  2. dfsadmin:HDFS的集群管理命令，比如：查看机架感知状态，可以执行hdfs dfsadmin-printTopology。
  3. fsck:HDFS的集群检查工具。
  4. namenode-format:主节点格式化指令。
  5. balaner:数据平衡指令。

5.2 格式化Namenode

hdfs namenode -format

(第一次启动前需要使用该指令)

5.3 Namenode的安全模式

当namenode启动时，需要将fsimage等信息读入内存，并且等待各个Datanode上报存储状态，在这个过程完成之前，叫安全模式。（safenode）

此时namenode为只读状态，只能读取不能写入，当足够数量的节点以及数据块处在健康状态时，系统会自动退出安全模式。

手动对安全模式进行管理：hdfs dfsadmin -safemode [enter | leave |get |wait]

5.4 元数据恢复

由于secondary namenode在进行元数据合并时，保存了元数据的副本信息，当Namenode发生损坏时，可以利用secondary namenode中的数据进行恢复。

  1. 利用stop-dfs.sh命令停止整个集群
  2. 清空namenode原有的元数据信息，路径可以从配置项dfs.namenode.name.dir中获得。
  3. 如果secondary namenode和namenode没有部署在同一个节点上，需要将secondary namenode存储的副本信息复制到namenode,其路径和secondary namenode中的元数据副本的路径一致，可以从配置项dfs.namenode.checkpoint.dir中获得。
  4. 执行hadoop namenode-importCheckpoint,系统将检查副本数据，并将其复制到dfs.namenode.name.dir所指示的路径当中。

5.5 子节点添加与删除

大数据业务要求数据被不断采集、不断积累，需要分布式存储和NoSQL数据库等实现方便的横向扩展（scale out）。HDFS可以很方便的进行Datanode节点添加和删除。

1.静态添加/删除Datanode的方法

  • 利用stop-dfs.sh命令停止整个集群
  • 在namenode节点上的slaves配置文件中添加新的节点，或删掉旧的节点。添加新节点时，要确保新节点和其他节点之间主机名和IP地址可以相互访问，可以实现SSH无密码访问等。
  • 利用start-dfs.sh重新启动集群，在新节点配置正确的情况下，会随命令启动Datanode角色，并和Namenode连接。
  • 可以执行hdfs balancer命令，在节点之间进行手动的数据平衡。删除节点之后，namenode会自动检查副本数量，并选择新的节点存储不足的副本。

2.动态添加Datanode的方法

  • HDFS集群保持运行状态
  • 在namenode节点上的slaves配置文件中添加新的节点。
  • 在新节点执行hadoop-daemon.sh start datanode ,启动Datanode角色
  • 在主节点执行hdfs dfsadmin -refreshNodes,刷新节点列表，Namenode会根据新列表和子节点建立联系。

3.动态删除Datanode的方法

  • HDFS集群保持运行状态
  • 提前在hdfs-site.xml中配置dfs.hosts.exclude属性，内容为一个本地文本文件的路径，该文件可以称为exclude文件，其结构和slave文件的相同，即为每行一个节点主机名的列表。 记录在exclude文件中的主机，会在刷新之后被记作禁用状态，并在界面上看到这个状态。
  • 在主节点执行hdfs dfsadmin -refreshNodes,刷新节点列表。
  • 在节点写入exclude文件，并执行hdfs dfsadmin -refreshNodes，刷新节点列表。

添加/删除Datanode完成之后，可以通过两种手段查看结果。

  • 在命令行执行hdfs dfsadmin -report 查看节点列表信息。
  • 通过web界面，切换到Datanodes标签，可以查看子节点的列表，in operation表示正在使用的节点，decommissinoning，表示目前禁用的节点。

5.6 HDFS文件系统操作

可以通过执行hdfs dfs指令来进行各类操作，包括建立、删除目录、HDFS上的文件复制、移动和改名、本地文件系统和HDFS系统之间的文件相互复制等、文件的权限操作等。

  • hdfs dfs -ls / ----查看文件目录状态
  • hdfs dfs -lsr / ----递归查看hdfs的根目录下的内容的
  • hdfs dfs -mkdir /d1 ----在hdfs上创建文件夹d1
  • hdfs dfs -put ----把数据从linux[本地文件]上传到hdfs的特定路径中[HDFS文件或路径]
  • hdfs dfs -get ----把数据从hdfs下载到linux的特定路径下
  • hdfs dfs -mv/-cp —在HDFS系统中进行文件移动或复制，参数为HDFS的源地址和目的地址。
  • hdfs dfs -text <hdfs文件> —将序列号文件转换成文本显示出来。
  • hdfs dfs -rm <hdfs文件> ----删除文件或空目录
  • hdfs dfs -rmr <hdfs文件> ----递归删除文件或空目录

5.7文件的权限与所属用户修改

#修改/alluxio的所属用户为hadoop
[hadoop@clu00 bin]$ hdfs dfs -chown -R hadoop /alluxio
#修改/alluxio的权限
[hadoop@clu00 bin]$ hdfs dfs -chmod 777  /alluxio

5.8 HDFS中将普通用户增加到超级用户组supergroup

Hadoop本身的用户和组的关系，都是同步Linux系统中的，但是HDFS和Linux的超级用户组又有一点差别，HDFS中的超级用户组是supergroup，但是Linux中默认是没有supergoup这个组，这个时候只需要在Linux中增加supergroup这个组，然后将要在HDFS中加入到supergroup中的用户加到这个组中，再同步HDFS用户和组即可。

#增加用户组
[hadoop@clu00 bin]$ sudo groupadd supergroup
#将hadoop用户加入到supergroup
[hadoop@clu00 bin]$ sudo usermod -a -G supergroup hadoop
#将root用户加入到supergroup
[hadoop@clu00 bin]$ sudo usermod -a -G supergroup root
#查看supergroup用户组下的所有成员
[hadoop@clu00 bin]$ grep 'supergroup' /etc/group
supergroup:x:1004:hadoop,root
#同步权限信息到HDFS
[hadoop@clu00 bin]$ su - hadoop -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"
气运2020
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop学习笔记[2]-HDFS安装部署流程
unlock的博客
02-03 2641
Hadoop学习笔记[2]-HDFS安装部署流程 1、必备软件   1-1 java（最好是1.8及其以上，but1.8以上只有open jdk了)   1-2 ssh软件，免密登录需要具体怎么配置网络上搜吧    直接在官网上搜就行了【https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html 这里就有】，主要就是生成公钥和私钥，并将公钥分发给要免密登录的服务器，登录时，会拿着自己的私
CHD3安装部署手册
01-10
《CHD3安装部署手册》是一份详细的指南，旨在帮助用户成功部署Hadoop的CDH3版本。CDH，即Cloudera Distribution Including Apache Hadoop，是Cloudera公司提供的一个开源Hadoop发行版，包含了多种大数据处理和分析...
HDFS Quotas Guide（HDFS配额指南）
ChengYanan的博客
04-25 343
HDFS Quotas Guide官网链接2.9.2版本 HDFS Quotas Guide官网链接2.7.1版本 简介：Hadoop提供两种配额（quota）模式，name quota和space quota。name quota限制路径的文件（含文件夹）数目，space quota限制的”磁盘”占用空间。可以通过此功能实现团队的存储使用管理。 使用方法 Set the name quota ...
大数据基础之hdfs3
weixin_33881753的博客
02-19 159
1、hdfs的副本的配置 修改hdfs-site.xml文件 <!-- 注释配置数据块的冗余度，默认是3 --> <property> <name>dfs.replication</name> <value>1</value> </property> <!--注释配置HDFS的权限检查，默认...
大数据小白系列——HDFS(3)
weixin_34087301的博客
12-20 156
这里是大数据小白系列，这是本系列的第三篇，介绍HDFS中NameNode选举，JournalNode等概念。 上一期我们说到了为解决NameNode(下称NN)单点失败问题，HDFS中使用了双NN的机制，一个Active NN，一个Standby NN。   现实常常是，解决一个问题的同时，免不了又引入了另外的问题。 谁来担任Active，谁来担任Standby？ 两个NN谁也说服不了谁...
Hadoop大数据开发__HDFS分布式集群安装部署
玩火的稻草人的博客
06-22 319
1、下载解压Hadoop 2、修改HDFS配置文件 修改hadoop-env.sh 修改core-site.xml 修改hdfs-site.xml 修改slaves vi slaves 3、启动HDFS集群 4、验证HDFS集群是否成功 命令验证 如果上面没有异常，说明HDFS集群配置成功
HDFS分布式安装配置笔记
随便起个不重复的名字
02-17 5604
1.准备三台虚拟机 centos6.5 192.168.20.171 node1 NameNode节点 centos6.5 192.168.20.172 node2 DataNode节点、SecondaryNameNode(必须和NameNode不在一台机器上) centos6.5 192.168.20.173 node3 DataNode节点 由于Hadoop是由java开发的,所以请大
Flume详解与安装部署教程
01-07
在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。...
hbase：实验一-Hive3安装与部署.pdf
11-14
【HBase实验一-Hive3安装与部署】 本次实验主要涉及Hive的安装与部署，同时也涵盖了相关的Linux...通过这个实验，你不仅掌握了Hive的安装与使用，还能深化对Hadoop生态的理解，为进一步学习大数据处理打下坚实基础。
HDFS的Trash回收站功能的配置和使用
07-02
HDFS具有高容错性，可以部署在通用硬件设备上，适合数据密集型应用，并且提供对数据读写的高吞 吐量。HDFS能 够提供对数据的可扩展访问，通过简单地往集群里添加节点就可以解决大量客户端同时访问的问题。HDFS支持...
hdfs3:libhdfs3的包装器，可与Python的HDFS交互
05-22
hdfs3 该项目未在开发中 Pyarrow的JNI 是成熟且稳定的。 它还具有较少的配置和各种安全设置问题，并且不需要复杂的libhdfs3构建过程。 因此，建议所有对hdfs3有麻烦的用户尝试使用pyarrow。 旧的自述文件 hdfs3是libhdfs3的轻量级Python包装器， 是与Hadoop File System（HDFS）进行交互的本机C / C ++库。 查看有关hdfs3的。
hdfs官方文档 Hadoop分布式文件系统：结构与设计.pdf
03-20
1. **硬件错误的正常化**：由于HDFS部署在大量的廉价硬件上，硬件故障是常态，因此系统必须能够检测到错误并快速自动恢复，这是HDFS设计的核心目标。 2. **流式数据访问**：HDFS为批量数据处理优化，强调高吞吐量而...
文件存储 HDFS中SDK示例
qq_43647037的博客
05-27 926
文件存储 HDFS中SDK示例 本文列出了创建目录、删除目录、上传文件、下载文件、显示目录、写入文件，读取文件、测试等操作的SDK示例，您可以参考示例工程开发您的应用。 准备工作 已完成文件存储HDFS的配置 已安装SDK 在计算节点上安装JDK，版本不能低于1.8。 在计算节点上安装hadoop，版本建议不低于2.7.2。 配置maven的依赖配置。 <dependency> <groupId>org.apache.hadoop</groupI
HDFS的部署方式
ellen艾琳的博客
04-16 1026
HDFS3.x集群配置
东黧的博客
06-12 1164
1、准备工作 准备3太centos机器并设置主机名 修改命令：vim /etc/hostname 一台作为Namenode，命名为master， 两台作为dataNode，命名为node-1, node-2 设置hosts 修改命令：vim /etc/hosts 192.168.0.6 master 192.168.0.17 node-1 192.168.0.19 node-2 3...
大数据之Hadoop——3HDFS(HDFS组成、shell操作、API、读写流程、工作机制)
二毛的博客
07-04 4432
1 HDFS概述 1.1 产生背景和定义 1）HDFS产生背景 随着数据流越来越大，在一个操作系统存不下所有数据时，就需要分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。 2）HDFS定义 HDFS(Hadoop Distributed File System)，它是一个文件系统，用于存储文件，通过目录树来定位文件，其次它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各有其角色。 H.
Hadoop安装部署
weixin_44296846的博客
02-18 1035
Hadoop安装与部署 参考博客：厦门大学数据库实验室Hadoop安装配置教程 1. 创建Hadoop用户 sudo useradd -m hadoop -s /bin/bash 1.1 设置密码 sudo passwd hadoop 输入两遍密码 1.2 用户增加管理员权限 sudo adduser hadoop sudo 1.3 切换到hadoop用户 2. 安装SSH、配置SSH无密码登陆 sudo apt install openssh-server ssh localhost #尝试本地登陆
hdfs 3.x 分布式安装（超详细）
yzh_1346983557的博客
07-26 730
一、安装环境：centos7、hadoop-3.1.2、3个节点（192.168.56.60，192.168.56.62，192.168.56.64，3个节点都安装datanode 伪分布式保证datanode HA）。 centos60 centos62 centos64 NameNode SecondaryNameNode Da...
HDFS 数据完整性
liu_changshen的博客
11-04 199
图示: 解释：数据在写入之后进行校验和的计算，DataNode周期性进行校验和计算，将计算结果与第一次的结果进行对比。 若相同表示无数据丢失，若不相同表示数据有丢失，丢失进行数据恢复。 数据读取之前对数据进行校验，与第一次的结果进行对比。若相同表示数据没有丢失，可以读取。若不相同表示数据 有所丢失。到其他副本读取。 ...
大数据Hadoop安装部署文档
最新发布
04-21
"《大数据Hadoop安装部署文档》是私塾在线推出的一系列精品教程，涵盖了Hadoop在Windows和Linux上的伪分布式安装，以及Eclipse开发环境的集成和使用。教程还讲解了Hadoop UI界面的介绍和运行WordCounter示例，旨在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值