HDFS基本操作实践

最新推荐文章于 2024-09-14 10:16:35 发布
最新推荐文章于 2024-09-14 10:16:35 发布
阅读量2.3k 收藏 3
点赞数
分类专栏： 大数据平台技术学习记录 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YTLDSS/article/details/123600197
版权
本文介绍了在HDFS中使用shell客户端和Java API进行文件操作的实践经验。在shell端，主要运用了`hadoop fs`指令；而在Java API端，通过配置IDEA的Maven设置和修正代码错误，成功导入并运行了相关代码。文章还概述了HDFS的设计目标和架构，强调了其硬件故障容错、流式数据访问等特点，以及Namenode和Datanode的角色。
摘要由CSDN通过智能技术生成

实验内容：
在HDFS的shell客户端和Java API客户端操作HDFS的节点，对文件进行操作

实验数据记录：
在HDFS的shell端操作：
主要使用了 hadoop fs 的一些简单指令
在这里插入图片描述

在HDFS的Java API端操作：
打开安装好的IDEA，新建maven项目，点击右上角setting，配置maven:
在这里插入图片描述

在pom.xml文件中添加如下内容：

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common<
最低0.47元/天 解锁文章
亚尔蒂兰
关注
专栏目录
HDFS的基本操作
Vicky_Yi的博客
09-24 2450
首先要弄清楚涉及的文件层次结构： 1./user/hadoop，处于HDFS文件系统中，只能用以"hdfs dfs"的开头的Shell命令方式，相当于云网盘，本地上传的文件都存放在这里 2./home/hadoop，处于计算机文件系统中，只能用普通的liunx语言处理，云上下载的文件都存放在这里 3./usr/local/hadoop，个人文件夹，个人新建的文件存放地 几个注意点: 1....
大数据实验二-HDFS编程实践
04-03
本次实验的主要目标是通过对HDFS（Hadoop Distributed File System）的操作实践，加深学生对HDFS在Hadoop架构中的作用及其基本操作的理解。实验内容包括两大部分：一是通过Shell命令对HDFS进行基本的文件管理操作；...
HDFS基本操作实验
Dragon_qing的博客
05-03 3103
HDFS基本操作实验HDFS的基本命令格式列出当前目录下的文件在HDFS创建文件夹级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式 hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。 列出当前目录下的文件 hdfs dfs -ls 在
大数据处理技术：分布式文件系统HDFS
最新发布
茜茜西西的博客
09-14 1579
（1）HDFS的基本操作 （2）HDFS-JAVA接口之读取文件 （3）HDFS-JAVA接口之上传文件 （4）HDFS-JAVA接口之删除文件
HDFS常用的命令
cj2580的博客
06-06 833
老版本的命令是hadoop fs -ls / 新版本的基本是hdfs dfs ls,新版本的HDFS常用命令整理：1、-help[cmd] 显示命令的帮助信息 ./hdfs dfs -help ls 2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 ./hdfs dfs -ls /log/map ./hdfs dfs -lsr /log/ (递归的) 3、-du(
大数据处理实验（三）HDFS基本操作实验
qq_46147238的博客
04-28 5743
HDFS基本操作实验一、Hadoop配置环境变量列出当前目录下的文件级联创建一个文件夹，类似这样一个目录：/mybook/input上传文件至HDFS从HDFS上下载文件查看HDFS上某个文件的内容统计目录下各文件的大小（单位：字节B）删除HDFS上某个文件或者文件夹使用help命令寻求帮助。 HDFS的基本命令格式:hdfs dfs -cmd <args> 注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。 一、Hadoop配置环境变量 进入实验二创建的master容器 su
Hadoop学习篇(二)——HDFS实践操作
qq_17732621的博客
03-12 369
上篇博客中，我们学习了HDFS的理论基础，了解了HDFS的架构模式，并且是如何进行读写操作的。那么本篇就要开始HDFS的实战操作了。（实战操作将以伪分布式为例） 上篇链接：Hadoop学习篇(二)——HDFS Hadoop学习篇(二)——HDFS实践操作 说明：如涉及到侵权，请及时联系我，并在第一时间删除文章。 2.2 HDFS命令行操作 HDFS的基本操作主要进行命令行操作，以伪分布式为例。 Shell命令格式有三种： ./bin/hadoop fs # 适用于任何不同的文件系统，比如本地文件系统
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
HDFS实例基本操作
07-02
在这个“HDFS实例基本操作”中，我们将深入探讨如何在已经安装好的HDFS环境中执行基本操作，包括文件上传、下载以及创建文件夹。 一、HDFS的基本架构 HDFS基于主从结构，主要由NameNode和DataNode组成。NameNode...
数据科学导论实验报告 实验2:熟悉常用的HDFS操作
04-30
在本实验中，我们主要关注的是对Hadoop分布式文件系统（HDFS）的熟悉和操作。HDFS是Hadoop的核心组件之一，它...通过这样的实践，学习者可以更好地理解和掌握Hadoop HDFS的使用，为后续的数据科学项目打下坚实的基础。
大数据 实验一：大数据系统基本实验 熟悉常用的HDFS操作_大数据系统及应用-hdfs实训
2401_84181626的博客
05-04 1078
理解 HDFS 在 Hadoop 体系结构中的角色。）熟练使用 HDFS 操作常用的 shell 命令。）熟悉 HDFS 操作常用的 Java API。
HDFS实践操作
weixin_46192593的博客
06-30 346
大数据相关博客的目录 HDFS Shell常用命令操作 在学习此操作之前，建议先学习Linux 文件管理 目录操作 -ls：显示目录信息 [root@master ~]# hdfs dfs -ls / 2022-07-08 10:26:13,603 WARN util.NativeCodeLoader: Unable to load native-hadoop libra...
hdfs基本操作
m_target的博客
05-09 586
1. hdfs的操作(图形界面) 1.1 hdfs的启动流程 进入安全模式 加载fsimage 加载edits 保存检查点(融合fsimage和edits文件,生成新的fsimage) 退出安全模式 1.2 通过浏览器访问 http://namenode:50070 2. hdfs的操作(shell操作) hdfs dfs hadoop fs hdfs dfs -put text01.tx...
HDFS基本操作
2301_80318717的博客
05-29 647
1.创建目录（文件夹）单层文件夹 hdfs dfs -mkdir 文件夹名多层文件夹 hdfs dfs -mkdir -p /文件夹1/文件夹2......2.上传文件hdfs dfs -put 源文件的路径 目标路径 将本地的源文件上传到hdfshdfs dfs -moveFromLocal 源文件的路径 目标路径 将本地的源文件移动到hdfs上（本地源文件删除）
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
热门推荐
weixin_61472217的博客
09-13 3万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
hdfs的基本操作（完全版）
Kayleigh520的博客
12-16 3953
hdfs的基本操作
hdfs基本操作 ---- 持续更新中
qqqq0199181的博客
03-01 303
查看 ./hdfs dfs -ls hdfs://ip:8020/ 查询/目录下的所有文件和文件夹 ./hdfs dfs -ls -R hdfs://ip:8020/ 以递归的方式查询/目录下的所有文件 拷贝文件 ./hdfs dfs -copyToLocal hdfs://ip:8020/tmp/table/part-00001 /opt/ 将文件拷贝到本地 ...
Hadoop HDFS基本操作
简单-生活
01-28 421
HDFS拥有超大型的数据量，并提供更轻松地访问。为了存储这些庞大的数据，这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失，在发生故障时。 HDFS也使得可用于并行处理的应用程序。 基本介绍 特点: 1、它适用于在分布式存储和处理。 2、Hadoop提供的命令接口与HDFS进行交琵 3、名称节点和数据节点帮助用户内置的服务器能够轻松地检查集群的状态。 4、流式访问文件...
掌握Hadoop HDFS基础操作与Java API实战
- **Shell命令的使用**：学习基本的HDFS操作命令，如上传、下载、查看文件属性、目录操作等，这些命令是与HDFS交互的基本工具。 - **Java API的熟悉**：通过编写Java代码，实现对HDFS的高级操作，如自定义输入流类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值