2-5HDFS的java接口（Hadoop系列day02）

最新推荐文章于 2022-05-26 08:39:00 发布
最新推荐文章于 2022-05-26 08:39:00 发布
阅读量221 收藏 1
点赞数
分类专栏： Hadoop系列 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yusongtaochn/article/details/52652775
版权

java接口操作hdfs

新建项目

java project
保证jdk版本和以后Linux中jdk版本一直（大版本一致即可）

导入jar包

new folder lib
将jar包放在这个lib文件夹下
这里写图片描述

这里写图片描述

这里写图片描述

build path

开始写程序

新建HDFSDemo类

这里写图片描述

这里写图片描述

FileSystem 类 —org.apache.hadoop.fs (是一个抽象类，不能new)

下载文件

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

下载的简洁写法

这里写图片描述

上传文件

这里写图片描述

这里写图片描述

权限问题
这里写图片描述
解决办法：伪装成root用户
这里写图片描述

这里写图片描述

删除hdfs文件

这里写图片描述

假如文件夹不为空，不使用递归删除会报错

创建文件夹

这里写图片描述

yust此号已弃用
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ecplise远程连接hadoop--hdfs java api操作文件.pdf
04-19
ecplise远程连接hadoop--hdfs java api操作文件.pdf
hadoop版本和java版本不一致的问题
chenmingzhong99的博客
08-28 2293
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable   hadoop是32位的，而java是32位的。hadoop是64位编译的版本，导致上面的问题出现。...
Hadoop3.0: 单机（伪集群）配置
沛哥儿的专栏
01-16 1953
目的 本文主要讲解的是在单节点下的Hadoop的环境安装和配置，以帮助您可以快速的使用Hadoop的MapReduce和HDFS 前提条件 环境支持 GNU/Linux现已支持开发和生产环境. Hadoop可以在 GNU/Linux集群上支持2000节点。 Windows现也支持但是没有Linux那么先进.关于如何在Windows上配置Hadoop ,请查看链接 wiki page 
hadoop java访问_Hadoop日记Day9---HDFS的java访问接口
weixin_35662670的博客
02-15 228
一、搭建Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs。要使用宿主机中的java 代码访问客户机中的hdfs，需要保证以下几点：(1)确保宿主机与客户机的网络是互通...
Hadoop-day05(java操作hadoop)
weixin_48370579的博客
05-26 144
Java操作Hadoop 步骤一：创建父类maven项目 在父类项目中的 pom 文件中配置如下，同一版本号，然后子类供给子类使用 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www....
hadoop Java 基础_Hadoop基础---HDFS的Java客户端编写
weixin_33328836的博客
02-12 261
补充：Eclipse自动补全快捷键在Windows下自动补全快捷键是Alt+/在Linux下自动补全快捷键是ctrl+空格一：导入jar包(一)定义用户依赖库(二)导入 hdfs基础jar包(三)导入hdfs基础jar包所依赖的库(四)导入公共jar包(五)导入公共jar包所需lib库(六)：创建类二：实现下载文件(一)要访问hdfs，需要获取FileSystem类(必须是org.apache.h...
Hadoop--Hdfs
Alano1994的博客
03-17 330
Big Data 大数据 1. 数据采集（多个数据源） 2. 数据存储（分布式存储） 3. 数据分析（并行计算） Hadoop **apache软件基金会的开源项目 提供了大数据集的存储和大数据集的并行计算模型** Apache Hadoop（http://hadoop.apache.org/）是⼀一款框架，允许使⽤用简单的编程模 型跨计算机集群分布式处理理⼤大型数据集。Hadoop开源免费...
java hdfs 2.0_Hadoop---Java-API对HDFS的操作
weixin_28323057的博客
02-13 109
Java-API对HDFS的操作哈哈哈哈，深夜来一波干货哦！！！Java-PAI对hdfs的操作，首先我们建一个maven项目，我主要说，我们可以通过Java代码来对HDFS的具体信息的打印，然后用java代码实现上传文件和下载文件，以及对文件的增删。首先来介绍下如何将java代码和HDFS联系起来，HDFS是分布式文件系统,说通俗点就是用的存储的数据库,是hadoop的核心组件之一,其他还有ma...
hadoop离线day03--Hadoop HDFS
weixin_54527017的博客
05-25 344
hadoop离线day03--Hadoop HDFS 目录 hadoop离线day03--Hadoop HDFS 今日内容大纲 Apache HDFS入门 概念 HDFS重要特性 分块存储 副本机制 HDFS shell操作 命令 shell常见命令操作 文件限额操作 相关的命令 HDFS工作机制 读写流程图见画图。 NameNode与DataNode通信机制 HDFS Java API 核心类 HDFS辅助工具 跨集群复制数据 distcp（distributed
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hdfs_design.rar_HDFS-OPERATE_hadoop_hadoop java_hdfs
09-23
hadoop中hdfs的编程指南，很有意义，推荐看一下。
Hw1Grp2_hdfsjava_hadoopjava_
10-02
国科大大数据作业1，实现hdfs hash groupby功能
Hadoop02---HDFS基础(HDFS原理 java客户端).md
11-27
自己的笔记，仅供参考，包含HDFS的启动停止，HDFS基本原理（上传文件、连接校验，下载文件，数据存储位置，通信机制，namenode和DataNode职责，元数据工作机制），java端操作HDFS的基本方法
六阶段大数据--day02--hadoop入门
weixin_58580280的博客
11-19 1306
一 Hadoop介绍 1 hadoop的定义 hadoop是一个分布式存储和分布式计算的框架。是围绕数据分析为核心的框架. 分布式存储即,数据库中一份数据复制多份存储(冗余存储) 2 hadoop的核心组件 HDFS：分布式存储组件 MapReduce：分布式计算组件 Yarn：资源调度管理器 3 hadoop的介绍及发展历史 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩..
1-5.将Hadoop添加到环境变量，初始化HDFS,启动Hadoop，测试hdfs（Hadoop系列day01）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-21 2424
>>将Hadoop添加到环境变量1. [root@itcast01 Hadoop]# vim /etc/profile2. #打开这个文件之后，在文件末尾添加以下代码（上次配置的JDK也在下方写了出来） export JAVA_HOME=/uer/java/jdk1.7.0_60 export HADOOP_HOME=/itcast/hadoop-2.2.0 export PATH =$PATH
2-2.HDFS的shell操作（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 704
oohdfs：建立在Linux系统之上的一个分布式文件系统 通过命令行的方式来操作hdfs查看是否启动Hadoop 关闭Hadoop 单独启动hdfs查看启动的服务查看hdfs根目录查看hdfs根目录（简写）hdfs的管理界面Linux上文件上传到hdfs查看hdfs根目录的某个文件的内容分页查看hdfs根目录的某个文件的内容查看hdfs根目录下文件（包括文件夹中的文件），文件夹（包括文件
2-2.1.Hadoop2.0x HDFS shell命令（Hadoop系列day02）
此号已弃用，搬家到：https://my.oschina.net/yust5273
09-23 663
Hadoop2 HDFS shell命令   1. hdfs dfs -appendToFile ...   可同时上传多个文件到HDFS里面   2.  hdfs dfs -cat URI [URI ...]   查看文件内容   3. hdfs dfs -chgrp [-R] GROUP URI [URI ...]   修改文件所属组   4.  hdfs df
第2关：hdfs-java接口之读取文件
最新发布
06-28
第2关要求我们学习如何使用hdfs-java接口来读取文件。 Hadoop分布式文件系统（HDFS）是Hadoop的核心组件之一，它提供了一种可靠的、高容错性的分布式文件系统，可以存储大量的数据。而hdfs-java接口则是Hadoop提供...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值