HDFS（一）增删改查操作

最新推荐文章于 2023-03-15 09:29:52 发布
最新推荐文章于 2023-03-15 09:29:52 发布
阅读量1.2k 收藏 10
点赞数 2
分类专栏： Hadoop 文章标签： hdfs hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31316733/article/details/108447286
版权

HDFS之增删改查操作

零、启动集群，Web查看hdfs系统

1.搭建过程：https://blog.csdn.net/qq_31316733/article/details/108386424

hadoop11 192.168.1.11
hadoop12 192.168.1.12
hadoop13 192.168.1.13
hadoop11 hadoop12 hadoop13
HDFS NameNode DataNode DataNode SecondaryNameNode DataNode
YARN NodeManager ResourceManager NodeManager NodeManager

2.Web端查看hdfs系统

namenode：http://hadoop11:9870 #查看hdfs文件系统

resourcemanager：http://hadoop12:8088

JobHistory：http://hadoop11:19888/jobhistory

一、Shell操作：linux本地–>hdfs系统

1.增

#剪切：linux-->hdfs
hadoop fs  -moveFromLocal  [linux路径下文件]  [hdfs系统路径]
#复制：linux-->hdfs
hadoop fs -copyFromLocal [linux路径下文件]  [hdfs系统路径]
hadoop fs -put [linux路径下文件]  [hdfs系统路径]
#追加内容到末尾：linux-->hdfs
hadoop fs -appendToFile [linux路径下文件]  [hdfs系统路径]
#复制：hdfs-->hdfs
hadoop fs -cp [hdfs系统路径] [hdfs系统路径]
#新建目录：hdfs
hadoop fs -mkdir -p [hdfs系统路径]
#从hdfs下载到linux本地：hdfs-->linux
hadoop fs -copyToLocal [hdfs系统路径] [linux系统路径]
hadoop fs -get [hdfs系统路径] [linux系统路径]
#3）从hdfs下载到linux本地多个文件，并执行合并操作
hadoop fs -getmerge [hdfs系统路径下多个文件] [linux系统路径]
最低0.47元/天 解锁文章
稻草人的肩膀
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据开发系列（四）----HDFS的增删改查代码
Xiaoyeforever的博客
08-14 187
package com.xiaoye.hdfsTest; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Before; import org.junit.Test; import java.io.IO.
编写Java代码对HDFS进行增删改查操作代码实例
08-26
Java代码对HDFS进行增删改查操作 本资源主要介绍了Java代码对HDFS（Hadoop Distributed File System）进行增删改查操作的实例代码，涵盖了创建文件、删除文件、复制文件到HDFS、创建目录、删除目录、列出目录和下载...
Hadoop-HDFS的增删改查
MiaoTai
07-12 1313
hadoop-HDFS除了在linux上以shell的方式进行操作外，还可以利用java来操作，接下来我们就来实现吧1.新建java工程，引入hadoop的源码包                                                java操作hadoop1.png当然，也可以新建lib包，复制hadoop/下的jar2 代码操作方式一：FileSystem与IOUtil...
青椒学堂大数据学习笔记之2.1 HDFS的shell命令——增删改查
m0_51928351的博客
11-30 1852
引言： 　　之前通过Hadoop伪分布式集群搭建，已经将我们的基础环境配置完成。我们在此基础上，将进入本节知识点学习，HDFS分布式文件系统作为Hadooop的文件存储系统，结合自身高容错、高吞吐以及可扩展的特点，为我们大数据的大数据集存储提供保障。 HDFS概论： 　　在如今企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统： 　　Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)
HDFS 的 Java API 增删改查
qq_43437122的博客
03-26 410
HDFS 设计的主要目的是对海量数据进行存储，也就是说在其上能够存储很大量的文件。 HDFS 将这些文件分割之后，存储在不同的 DataNode 上，HDFS 提供了通过Java API 对 HDFS 里面的文件进行操作的功能，数据块在 DataNode 上的存放位置，对于开发者来说是透明的。 使用 Java API 可以完成对 HDFS 的各种操作，如新建文件、删除文件、读取文件内容等。下面将介...
HDFS客户端增删改查操作
ltylzq的博客
03-03 707
方式1：        API操作文件的增删改查                          构造一个配置参数对象，设置一个参数：给出要访问的hdfs的URI                   // 从而FileSystem.get()方法就知道应该是去构造一个访问hdfs文件系统的客户端，以及hdfs的访问地址                   // newConfiguration(...
测试连接HDFS增删改查文件.rar
06-10
标题 "测试连接HDFS增删改查文件" 暗示了这个压缩包可能包含了一系列用于测试HDFS（Hadoop Distributed File System）操作的文件，比如连接HDFS、创建、删除、修改和查询文件的脚本或教程。HDFS是Apache Hadoop项目...
springboot对hadoop增删改查源码及hadoop图片访问
02-28
- 对于“增删改查”操作，我们可以定义自定义的Repository接口，扩展Spring Data Hadoop提供的方法，比如`save()`, `delete()`, `findById()`, `findAll()`等。 - 而具体的数据操作逻辑，如MapReduce任务，可以...
eclipse+maven+hadoop+文件增删改查
07-09
本教程将通过Eclipse集成开发环境，结合Maven构建工具，详细介绍如何进行Hadoop文件系统的文件增删改查操作。以下是对这些知识点的详细阐述： 1. **Eclipse**: Eclipse是一款流行的Java开发IDE，它提供了丰富的代码...
HBASE 常用shell命令,增删改查方法
09-15
在本文中，我们将深入探讨HBase的Shell命令，特别是针对数据的增删改查操作。HBase是一个基于列族的分布式存储系统，广泛应用于大数据处理领域。它与传统的关系型数据库不同，更适合处理大规模稀疏数据。通过HBase的...
Hadoop基础-HDFS的API实现增删改查
weixin_33727510的博客
05-26 162
　　　　　　　　　　　　　　　　　　　Hadoop基础-HDFS的API实现增删改查 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 　　本篇博客开发IDE使用的是Idea，如果没有安装Idea软件的可以去下载安装，如何安装IDE可以参考我的笔记：https://www.cnblogs....
使用idea开发hdfs的基本功能-增删改查
大侠isme
07-29 821
摘要：主要通过idea ，调用hadoop的API，实现hadoop的基本功能。 一直确定到完成，这时候maven会自动创建示例代码 [INFO] ------------------------------------------------------------------------ [INFO] BUILD SUCCESS [INFO] ------------------------------------------------------------------------ [INF
HDFS CRUD 操作
Mrknowledge
05-20 901
1 查找 列出某个目录下的文件名称，hdfs命令如下所示： hdfs dfs –ls/usr/app java代码片段： [plain] view plaincopyprint? public void list(String srcPath) {             Configuration conf = new Configuration();       
实现对HDFS增删改查CRUD等操作
xyjikl
02-25 862
1 查找 列出某个目录下的文件名称，hdfs命令如下所示： hdfs dfs –ls/usr/app java代码片段： public void list(String srcPath) { Configuration conf = new Configuration(); LOG.inf
如何在hdfs中进行增删查，hadoop中常用命令
xia3138641636的博客
11-17 343
hadoop常见指令： hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs上（原路径只能是一个文件） hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等 hadoop fs -ls / ：查看根目录文件 hadoop fs -ls /tmp/data：查看/tmp/data目录 hadoop fs -cat /tmp/a.tx
HBase基于HDFS上是如何完成增删改查功能的
南风知我意
01-28 1569
HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能？
Hadoop-5-HDFS常用命令
m0_43402033的博客
03-15 2614
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定。把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统。从检查点目录装载镜像并保存到当前检查点目录，检查点目录由。最近的升级会被持久化，回滚到前一版本，这个选项要在停止集群，分发老的。被失败的任务会对失败尝试不利。选项将再不可用，升级终结操作之后，它会停掉。被杀死的任务不会不利于失败尝试。，如果文件是压缩格式，则会先解压，再查看。判断文件是否为空，正0负1。判断文件是否存在，正0负1。
HDFS基础知识
unhurried人生——冕临的博客
09-09 1474
HDFS是Hadoop项目的核心子项目，在大数据开发中通过分布式计算对海量数据进行存储与管理。它基于流数据模型访问和处理超大文件的需求而开发，可以运行在廉价的商用服务器上，为海量数据提供了不怕故障的存储方法，进而为超大数据集的应用处理带来了很多便利。HDFS 的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。
web端无法打开HDFS文件系统
missTu~的博客
11-22 3125
安装过程中遇到的问题和解决方法，做些笔记和分享。 1、查看有没有在Windows的hosts文件中配置IP地址到hostname的映射。 2、查看core-site.xml和hdfs-site.xml是否配置好 core-site.xml文件配置 hdfs-site.xml文件配置 3、查看在hadoop-env.sh文件中有没有设置Java的绝对路径 Linux系统中获取JDK的安装路径：...
iceberg1.0用flink如何实现增删改查
最新发布
05-26
Iceberg是一个开源的表格管理库，可以将数据存储在云存储中，如Hadoop HDFS、Amazon S3等，并提供了增删改查的功能。而Flink是一个开源的流处理框架，可以处理实时数据流。 要在Flink中使用Iceberg进行增删改查操作，需要使用Iceberg的Flink集成库。以下是一些示例代码来说明如何进行增删改查操作： 1. 创建Iceberg表： ```java import org.apache.flink.table.catalog.CatalogTable; import org.apache.flink.table.catalog.GenericInMemoryCatalog; import org.apache.iceberg.flink.CatalogLoader; import org.apache.iceberg.flink.TableLoader; import org.apache.iceberg.flink.TableLoaderOptions; import org.apache.iceberg.Table; import org.apache.iceberg.catalog.TableIdentifier; import org.apache.iceberg.types.Types; // 创建一个内存catalog GenericInMemoryCatalog catalog = new GenericInMemoryCatalog("my_catalog"); // 创建一个表格 CatalogTable table = new CatalogTable( TableSchema.builder() .field("id", DataTypes.INT()) .field("name", DataTypes.STRING()) .build(), CatalogTableOptions.builder() .withCatalogTableType(CatalogTableType.MANAGED) .build() ); // 注册表格到catalog catalog.createTable(new ObjectPath("default", "my_table"), table, false); // 加载catalog和table CatalogLoader catalogLoader = CatalogLoader.hive("my_catalog"); TableLoader tableLoader = TableLoader.fromCatalog(catalogLoader); Table table = tableLoader.load(TableIdentifier.of("default", "my_table")); // 添加数据到表格 DataFile file = DataFiles.builder(table.spec()) .withInputFile(new Path("/path/to/data.parquet")) .withFormat(FileFormat.PARQUET) .build(); table.newAppend().appendFile(file).commit(); // 查询表格数据 table.newScan().project("id", "name").asEnumerable().forEach(row -> { System.out.println(row.get(0) + " " + row.get(1)); }); // 删除表格 table.delete(); ``` 2. 查询Iceberg表： ```java import org.apache.flink.table.api.Table; import org.apache.flink.table.api.bridge.java.StreamTableEnvironment; import org.apache.iceberg.flink.CatalogLoader; import org.apache.iceberg.flink.TableLoaderOptions; import org.apache.iceberg.Table; import org.apache.iceberg.catalog.TableIdentifier; // 创建StreamTableEnvironment StreamTableEnvironment tEnv = StreamTableEnvironment.create(env); // 加载catalog和table CatalogLoader catalogLoader = CatalogLoader.hive("my_catalog"); TableLoaderOptions options = new TableLoaderOptions(); options.setTableIdentifier(TableIdentifier.of("default", "my_table")); Table table = TableLoader.fromCatalog(catalogLoader, options).load(); // 将Iceberg表格注册为Flink表 tEnv.createTemporaryView("my_table", table); // 查询表格数据 Table result = tEnv.sqlQuery("SELECT id, name FROM my_table WHERE id > 100"); result.toRetractStream(Row.class).print(); ``` 3. 修改Iceberg表： ```java import org.apache.iceberg.Schema; import org.apache.iceberg.Table; import org.apache.iceberg.types.Types; // 加载catalog和table CatalogLoader catalogLoader = CatalogLoader.hive("my_catalog"); TableLoaderOptions options = new TableLoaderOptions(); options.setTableIdentifier(TableIdentifier.of("default", "my_table")); Table table = TableLoader.fromCatalog(catalogLoader, options).load(); // 修改表格Schema Schema schema = new Schema( Types.NestedField.optional(1, "id", Types.IntegerType.get()), Types.NestedField.optional(2, "name", Types.StringType.get()), Types.NestedField.optional(3, "age", Types.IntegerType.get()) ); table.updateSchema().addColumn("age", Types.IntegerType.get()).commit(); // 修改表格数据 table.newUpdate() .set("age", 30) .where("id = 1") .commit(); ``` 这些示例代码演示了如何在Flink中使用Iceberg进行增删改查操作。你可以根据自己的需求来调整代码。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值