第三章 熟悉常用的HDFS操作

最新推荐文章于 2023-11-12 20:22:42 发布
最新推荐文章于 2023-11-12 20:22:42 发布
阅读量1.9k 收藏 17
点赞数 6
分类专栏： 大数据实验 文章标签： hadoop hdfs 大数据 java linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41821556/article/details/104829819
版权
本文详述了如何在Hadoop HDFS中进行常见操作，包括使用Shell命令及Java API进行文件和目录的创建、读写、权限查看、文件追加、删除等。通过实例演示了在Linux环境下，借助Eclipse进行项目配置，导入Hadoop相关jar包，并生成执行jar包的过程。
摘要由CSDN通过智能技术生成

第三章 熟悉常用的HDFS操作

实验目的

1.理解HDFS在Hadoop体系结构中的角色；
2.熟练使用HDFS操作常用的Shell命令；
3.熟悉HDFS操作常用的Java API。

实验平台

操作系统：Linux
Hadoop版本：2.10.0
JDK版本：1.8
Java IDE：Eclipse

如果这篇文章有帮到你，就请点个赞！！！！！！

准备工作

创建项目
在这里插入图片描述
导入项目需要的全部jar包（需要将下列jar包全部导入）
（1）/usr/local/hadoop/share/hadoop/common目录下的hadoop-common-2.10.1.jar和haoop-nfs-2.10.1.jar；
（2）/usr/local/hadoop/share/hadoop/common/lib目录下的所有JAR包；
（3）/usr/local/hadoop/share/hadoop/hdfs目录下的haoop-hdfs-2.10.1.jar和haoop-hdfs-nfs-2.10.1.jar；
（4）/usr/local/hadoop/share/hadoop/hdfs/lib目录下的所有JAR包。
在这里插入图片描述
在这里插入图片描述
导入所有jar包后Finish
在这里插入图片描述

实验内容

将Hadoop启动（一切操作的基础）
在这里插入图片描述
创建类名
在这里插入图片描述

最低0.47元/天 解锁文章
Dc&
关注
  • 6
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
厦门大学-林子雨-大数据技术基础-第3章 分布式文件系统HDFS-上机练习-熟悉常用的HDFS操作
11-20
熟悉常用的HDFS操作 （1） 理解HDFS在Hadoop体系结构中的角色； （2） 熟练使用HDFS操作常用的Shell命令； （3） 熟悉HDFS操作常用的Java API。
数据存储实验2-熟悉常用的HDFS操作.doc（实验报告）
10-21
数据存储实验2-熟悉常用的HDFS操作.doc（实验报告）
熟悉常用的HDFS操作
weixin_30794499的博客
04-26 126
一、Hadoop提供的Shell命令完成相同任务： 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件(-ls) 显示hdfs中该的文件内容...
第12章 Hive1
08-08
它的主要功能是为大数据分析提供SQL查询接口，使得具有SQL技能但不熟悉Java的分析师能够方便地处理存储在HDFS或其它Hadoop兼容文件系统（如MapR-FS、S3）以及NoSQL数据库（如HBase、Cassandra）中的大量数据。...
第5章 Hadoop集群运行.docx
11-27
本章主要探讨了在Linux环境下运行Hadoop集群的关键步骤和实践，包括集群的配置、Hadoop服务的状态监控以及集群的启停操作。 1. 实验目标： 实验旨在帮助用户掌握以下技能： - 监控Hadoop的运行状态 - 配置并格式...
HDFS概述及常用命令
klionl的博客
04-03 289
Hadoop--入门HDFS概述及常用命令一.HDFS概述1.背景2.定义二.HDFS优缺点1.优点2.缺点三.HDFS组成结构1.NameNode2.DataNode3.Client4.Secondary NameNode四.HDFS常用命令1.基本语法2.命令大全3.常用命令实操 HDFS概述及常用命令 一.HDFS概述 1.背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配...
大数据技术基础实验报告-HDFS常用操作命令.doc
08-21
大数据技术基础实验报告-HDFS常用操作命令
实验二：熟悉常用的HDFS操作
05-05
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2）熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
实验项目 实战 HDFS 实验报告
04-18
一、实验目的 1. 理解 HDFS 体系架构。 2. 理解 HDFS 文件存储原理和数据读写过程。 3. 熟练掌握 HDFS Web UI 界面的使用。 4. 熟练掌握 HDFS Shell 常用命令的使用。 5. 熟练掌握 HDFS 项目开发环境的搭建。 6. 掌握使用 HDFS Java API 编写 HDFS 文件操作程序。 二、实验环境 本实验所需的软件环境包括全分布模式 Hadoop 集群、Eclipse。 三、实验内容 1. 启 动 全 分 布 模 式 Hadoop 集 群 ， 守护进程 包 括 NameNode 、 DataNode 、 SecondaryNameNode、ResourceManager、NodeManager 和 JobHistoryServer。 2. 查看 HDFS Web 界面。 3. 练习 HDFS Shell 文件系统命令和系统管理命令。 4. 在 Hadoop 集群主节点上搭建 HDFS 开发环境 Eclipse。 5. 使用 HDFS Java API 编写 HDFS 文件操作程序，实现上传本地文件到 HDFS 的功能。。。。。
HDFS实例基本操作
07-02
在安装好HDFS的前提下，此项目包含HDFS的基本操作，上传，下载，创建文件夹等。
熟悉常用的HDFS操作（大数据技术原理与应用-第三章实验）
热门推荐
一只快乐的小蒟蒻~
10-19 1万+
一、HDFS shell命令 首先启动Hadoop，命令如下： cd /usr/local/hadoop/sbin start-dfs.sh 在终端输入如下命令，查看hdfs dfs总共支持哪些操作： cd /usr/local/hadoop/bin hdfs dfs 上述命令执行后，会显示如下的结果： 如果显示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil
Hadoop的hdfs常用的文件命令
jia_zhengshen的专栏
10-08 629
1.中文：https://segmentfault.com/a/1190000002672666 2.英文http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/FileSystemShell.html#cat
实验一 熟悉常用的Linux操作,实验2-熟悉常用的HDFS操作
weixin_39934296的博客
05-13 501
《实验2-熟悉常用的HDFS操作》由会员分享，可在线阅读，更多相关《实验2-熟悉常用的HDFS操作(5页珍藏版)》请在人人文库网上搜索。1、实验2熟悉常用的HDFS操作1 实验目的1.理解HDFS在Hadoop体系结构中的角色；2.熟练使用HDFS操作常用的Shell命令；3.熟悉HDFS操作常用的Java API。2 实验平台操作系统：LinuxHadoop版本：2.6.0或以上版本JDK版本：...
大数据实验 实验二：熟悉HDFS常用操作
最新发布
ADEXOM的博客
11-12 2272
大数据技术原理与应用 课程实验报告 实验二 熟悉HDFS常用操作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值