大数据——操作HDFS

已于 2024-07-28 09:58:49 修改
阅读量501 收藏 6
点赞数 5
文章标签： 大数据 hdfs npm
于 2023-12-03 23:18:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42789698/article/details/134771865
版权

文章目录

一、Web Console网页工具

1、NameNode：端口50070

1）HDFS启动过程

在这里插入图片描述

2）HDFS概要

在这里插入图片描述

2、SecondaryNameNode：端口50090

二、命令行方式操作HDFS

# 查询所有的hdfs操作命令
hdfs dfs
# 在hdfs中创建目录
hdfs dfs -mkdir /aaa
# 如果父级目录不存在就要使用-p
hdfs dfs -mkdir -p /bbb/ccc
# 查询HDFS的某个目录
hdfs dfs -ls /bbb
# 查询HDFS的某个目录，包含子目录，也可以简写为-lsr
hdfs dfs -ls -R /bbb
# 上传数据，将服务器上的某个文件上传到HDFS的aaa下
hdfs dfs -put ./README.txt /aaa
# 上传数据
hdfs dfs -copyFromLocal ./README.txt /aaa
# 剪切数据到hdfs中，相当于ctrl + x
hdfs dfs -moveFromLocal ./data.txt /aaa
# 下载数据
hdfs dfs -get /aaa/data.txt ./
hdfs dfs -copyToLocal /aaa/data.txt ./
# 删除文件，不能删除目录
hdfs dfs -rm /bbb 
# 删除目录，包含子目录
hdfs dfs -rm -r /bbb
# 先把某个目录下的文件合并，再下载
hdfs dfs -getmerge /students ./allstudents.txt
# 拷贝
hdfs dfs -cp /aaa/data.txt /bbb/data.txt
# 移动
hdfs dfs -mv /aaa/data.txt /bbb/data.txt
# 显示目录信息
hdfs dfs -count /students
# 显示目录详细信息
hdfs dfs -du /students
# 查看文本文件内容
hdfs dfs -text ./students/a.txt
hdfs dfs -cat ./students/a.txt
# 平衡操作，如果出现数据不是平均分配在DataNode上时，可使用balanceer平衡
hdfs balancer


# 查询所有的hdfs管理命令
hdfs dfsadmin
# 查看hdfs运行的一些参数
hdfs dfsadmin -report
# 安全模式，get：获取当前的安全模式|enter：进入安全模式|leave：离开安全模式|wait：等待安全模式自动退出
hdfs dfsadmin -safemode get

三、Java Api方式操作

package org.gykalc;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.ipc.Client;
import org.junit.Test;

import java.io.*;
import java.util.Arrays;

public class TestApi {


    /**
     * 创建目录
     */
    @Test
    public void mkdir() throws IOException {
        // 如果遇到权限问题有四种解决方案，下面是方案一，使用代码，添加一个环境变量，表示当前操作的是root用户
        System.setProperty("DHADOOP_USER_NAME", "root");
        // 配置NameNode地址
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://192.168.36.10:9000");
        // 获取hadoop客户端
        FileSystem client = FileSystem.get(configuration);
        // 创建目录
        client.mkdirs(new Path("/gyk"));
        // 关闭客户端
        client.close();
    }

    /**
     * 删除目录
     */
    @Test
    public void removeDir() throws IOException {
        // 如果遇到权限问题有四种解决方案，下面是方案一，使用代码，添加一个环境变量，表示当前操作的是root用户
        System.setProperty("DHADOOP_USER_NAME", "root");
        // 配置NameNode地址
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://192.168.36.10:9000");
        // 获取hadoop客户端
        FileSystem client = FileSystem.get(configuration);
        // 移除目录，第二个参数表示是否递归删除，一般删除文件夹后面才为true
        client.delete(new Path("/gyk"), true);
        // 关闭客户端
        client.close();
    }

    /**
     * 上传方法1
     */
    @Test
    public void uploadFileOne() throws IOException {
        // 如果遇到权限问题有四种解决方案，下面是方案一，使用代码，添加一个环境变量，表示当前操作的是root用户
        System.setProperty("DHADOOP_USER_NAME", "root");
        // 初始化一个输入流
        InputStream ins = new FileInputStream("D:\\学习\\hadoop\\a.txt");
        // 配置NameNode地址
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://172.18.0.2:9000");
        // 获取hadoop客户端
        FileSystem client = FileSystem.get(configuration);
        FSDataOutputStream output = client.create(new Path("/gyk/a.txt"));
        // 定义一个字节缓存数组
        byte[] bytes = new byte[1024];
        int len = 0;
        // 循环读取和写入
        while ((len = ins.read(bytes)) > 0) {
            output.write(bytes, 0, len);
        }
        // 关闭流
        output.flush();
        output.close();
        ins.close();
        client.close();
    }

    /**
     * 上传方法2
     */
    @Test
    public void uploadFileTwo() throws IOException {
        // 如果遇到权限问题有四种解决方案，下面是方案一，使用代码，添加一个环境变量，表示当前操作的是root用户
        System.setProperty("DHADOOP_USER_NAME", "root");
        // 初始化一个输入流
        InputStream ins = new FileInputStream("D:\\学习\\hadoop\\a.txt");
        // 配置NameNode地址
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://172.18.0.2:9000");
        // 获取hadoop客户端
        FileSystem client = FileSystem.get(configuration);
        FSDataOutputStream output = client.create(new Path("/gyk/b.txt"));
        IOUtils.copyBytes(ins, output, 1024);

        output.flush();
        output.close();
        ins.close();
        client.close();
    }

    /**
     * 下载文件1
     *
     * @throws IOException
     */
    @Test
    public void downloadFileOne() throws IOException {
        // 如果遇到权限问题有四种解决方案，下面是方案一，使用代码，添加一个环境变量，表示当前操作的是root用户
        System.setProperty("DHADOOP_USER_NAME", "root");
        // 初始化一个输出流
        OutputStream outputStream = new FileOutputStream("D:\\学习\\hadoop\\c.txt");
        // 配置NameNode地址
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://172.18.0.2:9000");
        // 获取hadoop客户端
        FileSystem client = FileSystem.get(configuration);
        FSDataInputStream inputStream = client.open(new Path("/aaa/README.txt"));
        // 定义一个字节缓存数组
        byte[] bytes = new byte[1024];
        int len = 0;
        // 循环读取和写入
        while ((len = inputStream.read(bytes)) > 0) {
            outputStream.write(bytes, 0, len);
        }
        // 关闭流
        outputStream.flush();
        outputStream.close();
        inputStream.close();
        client.close();
    }

    /**
     * 下载文件2
     *
     * @throws IOException
     */
    @Test
    public void downloadFileTwo() throws IOException {
        // 如果遇到权限问题有四种解决方案，下面是方案一，使用代码，添加一个环境变量，表示当前操作的是root用户
        System.setProperty("DHADOOP_USER_NAME", "root");
        // 初始化一个输出流
        OutputStream outputStream = new FileOutputStream("D:\\学习\\hadoop\\d.txt");
        // 配置NameNode地址
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS", "hdfs://172.18.0.2:9000");
        // 获取hadoop客户端
        FileSystem client = FileSystem.get(configuration);
        FSDataInputStream inputStream = client.open(new Path("/aaa/README.txt"));
        IOUtils.copyBytes(inputStream, outputStream, 1024);
        // 关闭流
        outputStream.flush();
        outputStream.close();
        inputStream.close();
        client.close();
    }

    /**
     * 查找某个文件的数据块在HDFS的dataNode的位置
     */
    @Test
    public void getBlockOnDataNode() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://172.18.0.2:9000");
        FileSystem client = FileSystem.get(conf);
        // 得到该文件的状态
        FileStatus status = client.getFileStatus(new Path("/aaa/README.txt"));
        // 获取文件的数据块信息
        BlockLocation[] fileBlockLocations = client.getFileBlockLocations(status, 0, status.getLen());
        for (BlockLocation blk : fileBlockLocations) {
            System.out.println("数据块：主机：" + Arrays.toString(blk.getHosts()));
        }
        client.close();
    }

    /**
     * 获取数据节点
     */
    @Test
    public void getDataNode() throws IOException {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://172.18.0.2:9000");
        // 这里就需要获取到FileSystem的子类
        DistributedFileSystem distributedFileSystem = (DistributedFileSystem) FileSystem.get(conf);
        // 获取所有的数据节点
        DatanodeInfo[] list = distributedFileSystem.getDataNodeStats();
        for (DatanodeInfo datanodeInfo: list) {
            System.out.println(datanodeInfo);
        }
        distributedFileSystem.close();
    }
}

如果报错了，说明没有权限操作HDFS，可以添加一个HADOOP_USER_NAME这个环境变量
在这里插入图片描述
方式一：添加如下代码在这里插入图片描述
方式二：在命令行使用-DHADOOP_USER_NAME=root

方式三：chmod命令，改变权限

hdfs dfs -chmod 777 ...

方式四：修改配置hdfs-site.xml文件
在这里插入图片描述

四、HDFS文件上传的原理

在这里插入图片描述

五、HDFS文件下载的原理

在这里插入图片描述

贵沫末
关注
HDFS常用端口
学习是一种信仰的博客
11-11 6639
HDFS常用端口 HDFS 参数 描述 默认 配置文件 例子 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.address namenode web管理端口 50070 hdfs-site.xml 0.0.0.0:50070 dfs.datanode.address datanode控制端口 50010 hdfs-site.xml 0.0.0.0:50
大数据——HDFS(分布式文件系统）
qq_46300524的博客
04-17 6520
我的理解就是 ，你上传到服务器的数据，为了保证数据的安全性，如果一个服务器出现了问题 ，那么必须保证你的数据不能丢失，那么在其他服务器上也会备份一份出问题服务器的数据，以保证数据不丢失，就是一个存有你数据的服务器坏掉了，也不会影响你的数据。以上仅仅是我的理解，仅供参考。
Hadoop基础
geekLinyi‘s Blog
09-08 603
1. Hadoop hadoop是一个分布式的、开源的、高可靠的、可扩展的软件框架。 分布式： ​ 【GFS（存储），MapReduce（计算）两篇论文】【bigtable（大表）】 hadoop组成【2.7.3版本】 Hadoop Common Hadoop Distributed Files System（HDFS） 【默认端口号：8020（1.0则是9000）】 【外部...
Hadoop端口号全解析：掌握这些端口，轻松驾驭大数据集群，一文读懂常用端口号及其作用！
最新发布
qq_51431069的博客
08-14 1203
MapReduce作业的执行情况主要通过YARN ResourceManager的Web UI（即8088端口）来查看。虽然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）也可能用于间接地查看MapReduce作业的输出和日志。
HDFS部分：8020端口，9000端口和50070端口号，50090,9083,2181，6379的区别
热门推荐
wyqwilliam的博客
08-11 6万+
8020端口： 在cd /opt/sxt/hadoop-2.6.5/etc/hadoop/coresite.xml下的配置： <property>   <name>dfs.namenode.rpc-address.mycluster.nn1</name>   <value>node01:8020</value> </proper...
hdfs命令行操作
m0_48170265的博客
04-14 3274
hdfs命令行操作
HDFS默认端口
qq_43684686的博客
12-13 1248
C#下载hdfs文件
weishui21的博客
10-27 890
现在开源的多了，程序员自信反而下降了，就如下载hdfs服务器文件，只有java代码，无.net，非常的害怕不会玩，忘记了他本身属于网络资源，其实下载非常简单，思路明确那就开始 //说明：localFilePath:D://xxx.txt or D://xxx.zip 同hdfs后缀一致 public void DownHDFS（string url，string localFilePath）{ WebClient wc = new WebClient(); var b...
HDFS 的命令行使用
weixin_44826281的博客
05-14 290
ls 格式：hdfs dfs -ls URL 作用：显示文件列表 lsr 格式: hdfs dfs -lsr URL 作用：在整个目录下递归执行ls，与UNIX中的ls-r类似 mkdir 格式：hdfs dfs-mkdir [-p] <paths> 作用:以<paths>中的url为参数，创建目录，-p参数可以递归创建目录 put ...
头歌Educoder云计算与大数据——实验三 分布式文件系统HDFS
36.6°博客
10-23 3万+
实验三 分布式文件系统HDFS第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明代码实现第2关：HDFS-JAVA接口之读取文件任务描述相关知识FileSystem对象FSDataInputStream对象编程要求测试说明代码实现代码文件命令行第3关：HDFS-JAVA接口之上传文件任务描述相关知识FSDataOutputStream对象编程要求测试说明代码实现代码文件命令行第4关：HDFS-JAVA接口之删除文件任务描
大数据入门——HDFS新增节点
Mr_Yang888的博客
11-06 1万+
服役新数据节点 =========================================================================== 准备工作（九步） 目标：掌握HDFS新添加节点到集群的步骤 准备新节点 第一步：复制一台新的虚拟机出来 将我们纯净的虚拟机复制一台出来，作为我们新的节点 第二步：修改mac地址以及IP地址 修改mac地址命令 vim /etc/ud...
大数据day11——HDFS 的 API 操作
04-20
笔记自作不易，含有博客原图。
拥抱大数据——初识Hadoop，轻松应对海量数据存储与分析所带来的挑战
01-20
【HDFS——分布式文件系统】 HDFS是Hadoop的核心组件，它允许数据以分布式的方式存储在多台服务器上，实现了数据冗余备份，保证了系统的高可用性和容错性。HDFS的基本架构包含NameNode和DataNode，NameNode负责元...
HDFS的命令行使用【常用 hdfs 命令】
Mercury_Lc的博客
09-25 472
【其实用起来和 Linux 一样，就是前面加上了 hdfs dfs ，少许命令可能不同，版本是 hadoop2.x】 hdfs dfs -ls / 查看根路径下面的文件或者文件夹 hdfs dfs -ls /test查看test路径下面的文件或者文件夹 hdfs dfs -ls -R/ 递归的查看根路径下面的文件或者文件夹 hdfs dfs -mkdir -p /aaa/bbb 在hdfs上面递归的创建文件夹 hdfs dfs -moveFromLoc...
HDFS命令行操作
amao992的专栏
04-26 1万+
启动后可通过命令行使用hadoop。 (1)所有命令 （先将$HADOOP_HOME/bin加入到.bashrc的$PATH变量中） [hadoop@node14 hadoop-0.21.0]$ ll $HADOOP_HOME/bin total 88 -rwxr-xr-x 1 hadoop hadoop 4131 Aug 17 2010 hadoop -rwxr-xr-x 1 hado
hdfs常用的端口配置
wulantian的专栏
03-10 4万+
常用的端口配置 1、 HDFS端口   参数 描述 默认 配置文件 例子值 fs.default.name namenode namenode RPC交互端口 8020 core-site.xml hdfs://master:8020/ dfs.http.add
HDFS常用端口及参数释义
学亮编程手记
07-02 731
hdfs 常用端口和 hdfs-default配置文件参数的意义: https://www.cnblogs.com/duanxz/p/3799467.html Hadoop 2.x常用端口及查看方法: https://www.cnblogs.com/jancco/p/4447756.html 阿里云搭建hadoop集群服务器，内网、外网访问问题： https://www.cnblogs.com/ya-qiang/p/10076424.html java客户端无法上传文件到hdfs： https://clou
【Linux】使用 iptables 验证访问HDFS 所使用到的端口
康师傅没有眼泪
06-17 2351
当一个数据包到达一个链时，iptables就会从链中第一条规则开始检查，看该数据包是否满足规则所定义的条件。否则iptables将继续检查下一条规则，如果该数据包不符合链中任一条规则，iptables就会根据该链预先定 义的默认策略来处理数据包。，iptables内置了4个表，即filter表、nat表、mangle表和raw表，分别用于实现包过滤，网络地址转换、包重构(修改)和数据跟踪处理。背景： 在客户有外网的服务器需要访问内网大数据集群HDFS，使用iptable模拟测试需要开放的端口。
获取hdfs链接地址以及端口号
m0_58625397的博客
04-09 1256
获取hdfs链接地址以及端口号
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值