Hadoop【第五课】：Hadoop测试HDFS系统上传下载功能

最新推荐文章于 2022-08-17 07:15:00 发布
最新推荐文章于 2022-08-17 07:15:00 发布
阅读量328 收藏 2
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41315788/article/details/109272948
版权
本文详细介绍了如何使用Hadoop测试HDFS系统，包括将root目录下的jdk文件上传到HDFS根目录，命名为jdk，然后将HDFS中的jdk文件下载到本地/home/目录并重命名为jdk1.8，最后通过不同方式检查上传和下载的文件完整性。
摘要由CSDN通过智能技术生成

测试HDFS系统上传下载功能

1.上传

从root目录下把jdk文件上传到hdfs系统的根目录下并命名为jdk

# hadoop fs -put /home/zox/jdk-8u221-linux-x64.tar.gz hdfs://localhost:9000/jdk

2.下载

从hdfs系统的根目录下将jdk下载到本地/home/文件夹下命名为jdk1.8

# hadoop fs -get hdfs://localhost:9000/jdk /home/zox/jdk1.8

在这里插入图片描述

3.查看

查看上传到hdfs的文件

# hadoop fs -ls hdfs://localhost:9000/

在这里插入图片描述

也可直接从网页查看

最低0.47元/天 解锁文章
zoxiii
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
测试Hadoop上传下载性能
weixin_44516261的博客
10-04 301
测试Hadoop上传下载性能 建好hadoop之后需要面对的问题: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-u1uktqWA-1601802082816)(E:\BigData\学习笔记\Typora\数仓项目\src\装好hadoop之后需要面临的问题.png)] 问题: 1t的数据需要上传多久 1t的数据需要下载多久 100t的数据,执行mr需要多久 机器能够抗住多少数据量 测试HDFS写性能 测试内容：向HDFS集群写10个128M的文件 cpu核数-1 [
Hadoop——HDFS文件上传（测试参数优先级）
apiece1的博客
07-09 326
3.2 HDFS的API操作 3.2.1HDFS文件上传 一、编写代码 （1）获取文件系统 （2）上传文件 （3）关闭资源 1、文件上传： @Test public void testCopyFromLocalFile（） （1）获取fs对象 Configuration conf = new Configuration(); FileSystem.get(new URI(“hdfs://hadoop102:9000”), conf ,“用户名称”)； （2）执行上传API fs.copyFromLocalF
hadoop文件上传下载等操作的API测试
qq_44220053的博客
09-09 759
文件的上传 // 1 获取文件系统 Configuration configuration = new Configuration(); // 配置在集群上运行 // configuration.set("fs.defaultFS", "hdfs://hadoop101:9000"); // 直接配置访问集群的路径和访问...
java操作hdfs实现上传、下载等功能
xiaozhuangyumaotao的博客
05-11 405
使用hadoop提供的接口可以轻松的实现利用java来操作hdfs。 一、如从本地往hdfs上上传个文件： packagehadoop.hdfs; importjava.io.FileInputStream; importjava.io.InputStream; importjava.io.OutputStream; importjava.net.URI; importorg.apache.hadoop.conf.Configuration; importorg.apache.had...
hadoop学习之wordCount以及文件上传demo，经测试通过
04-09
Hadoop框架测试之wordCount以及文件上传demo，所有代码均经过测试，注释详细完整
Hadoop生态系统：探索除HDFS和MapReduce之外的有用工具
最新发布
06-30
然而，Hadoop的生态系统中还包括许多其他工具，这些工具扩展了Hadoop的功能，使其更加强大和灵活。本文将详细介绍Hadoop生态系统中的一些有用工具及其应用。 Hadoop生态系统中的工具远不止HDFS和MapReduce，还包括了...
实验二：熟悉常用的HDFS操作
05-05
实验二：“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统（HDFS）在大数据处理中的核心地位，以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色，为...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS：1.HDFS基础
01-07
HDFS客户端操作（开发重点） 1. HDFS客户端环境准备 1.1、请参考文章： Windows10下搭建eclipse开发hadoop的开发环境 其中的第一至四步骤。 1.2、请参考文章： maven的安装、路径配置、修改库文件路径和eclipse中的...
Hadoop测试数据
11-07
hadoop测试数据，包括201404公交出行数据样例, 车辆标注数据样例下载,大数据背景下社交聊天软件模型构建_省略_i_基于大学生群体-,多语种语料样例下载,人脸关键点样例下载,中文普通话样例下载
Hadoop性能测试工具
qq_41051923的博客
10-15 1850
一、磁盘IO测试 1. 测试读速度 方式一：使用hdparm测试 yum install -y hdparm #下载hdparm hdparm -tT --direct /dev/sda1 #测试 hdparm参数： -t 评估硬盘的读取效率(不经过磁盘cache)。 -T 平估硬盘快取的读取效率。 方式二：使用time+dd测试 time dd if=/dev/sda1 of=/dev/null bs=8k 因为/dev/sdb1是一个物理分区，对它的读取会产生IO，/dev/nu
Hadoop中HDFS的API操作、HDFS文件上传（测试参数优先级）、copyFromLocalFile参数解读、HDFS文件下载、文件更名和移动、删除文件和目录、文件详情查看、文件和文件夹判断
Redamancy06的博客
08-17 2502
参数优先级排序：（1）客户端代码中设置的值 >（2）在项目资源目录下的用户自定义配置文件（如在resources下创建的hdfs-site.xml，可以看上面的过程） >（3）服务器的自定义配置（hdfs-site.xml） >（4）服务器的默认配置（hdfs-default.xml）、CRC文件是一个校验文件，保证文件传输完整、对文件名称的修改、文件的更名和移动、目录更名、删除文件、删除空目录、删除非空目录、如果执行上面代码，下载不了文件，有可能是你电脑的微软支持的运行库少，需要安装一下微软运行库。...
Hadoop之HDFS上测试创建目录、上传、下载文件
热门推荐
小小码农
01-27 4万+
1、HDFS上创建目录 ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 2、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 3、上传本地文件到HDFS上 ${HADOOP_HOME}/bin/hdfs dfs
hadoop文件上传，下载
言蹊的专栏
03-02 4716
上一节我们搭建好了集群，数据从哪里来呢。 通常经过是通过etl工具，如kettle,informatica等将其他系统的数据抽取成文件，然后再利用脚本调用hdfs的命令导入进hdfs集群。 还有一种方式是通过通用组件如sqoop等，今天先讲第一种方式。 HDFS 常用命令 在 Linux 命令行终端，可以使用命令行工具对 HDFS 进行操作。使用这些命令行可以完成 HDFS 文件的上...
HDFS和FastDFS的上传、下载效率对比测试
chengxiandu5378的博客
01-04 2241
测试环境 测试使用的FastDFS服务器，HDFS服务器均在vmware虚拟机中搭建，HDFS的服务器直接由FastDFS服务器克隆而来，所以除了一个安装了hadoop，一个安装了FastDFS，其他环境完全一致。 HDFS配置了集群环境，一主三从，但是只打开一台从节点服务器。 vmw...
实验2 熟悉常用的HDFS操作
m0_60812517的博客
07-28 2996
追加到原文件的开头，在HDFS中不存在与这种操作对应的命令，因此，无法使用一条命令来完成。（1）操作系统Linux（建议Ubuntu16.04或Ubuntu18.04）；2.用-test检测文件是否存在，1表示文件已存在。（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的JavaAPI。3把文件传输到伪分布式中，0表示文件已存在。（2）Hadoop版本3.1.3；#覆盖原来文件，第一种命令形式。（3）JDK版本1.8；...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zoxiii

越打赏越生长

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值