eclipse代码操作hdfs 读写文件 API

最新推荐文章于 2022-10-13 11:16:51 发布
最新推荐文章于 2022-10-13 11:16:51 发布
阅读量923 收藏 3
点赞数 4
分类专栏： 大数据 文章标签： hadoop eclipse api java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jjjjjjabnannnan/article/details/109693437
版权
这篇博客介绍了如何使用Hadoop的FS对象读取、下载、上传文件，并展示了即使没有显式配置，Hadoop也能从jar、xml配置文件中自动加载设置。执行结果显示了配置加载的步骤：首先尝试读取jar内的配置，接着查找xml文件，最后考虑代码中的配置选项。
摘要由CSDN通过智能技术生成

1， 从hdfs中读取某一个文件的内容

下面的代码时候必须保证hdfs中有
/input.txt文件不然读取不到会有异常

在这里插入图片描述

2，使用FS对象下载文件到本地

下载hdfs根目录的input.txt到本地硬盘D盘的根目录
在这里插入图片描述

3，使用FS对象上传文件到HDFS

上传本地的firefox到HDFS上

在这里插入图片描述

4，查看hadoop的配置文件

在这里插入图片描述
程序的执行结果为：
在这里插入图片描述
可以看出虽然没有进行配置，但是有一些设置，配置文件的读取步骤是
（1）读取jar中的配置 》（2）读取xml文件 》（3）读取代码中的配置

BigBrother@@U
关注
专栏目录
hadoop初识之七：linux 中eclipse 读写HDFS文件
nipanlong001的专栏
08-15 768
/opt/tools/workspace/npl_hdfs/src/main/java/com/npl/hadoop/senier/hdfs --==================添加hadoop jar 包========================     =》pom.xml配置以下两项，hadoop jar包会自动添加到工程中【Maven Dependencies】中      
HDFS的java API的操作（获取系统文件对象、读取文件内容、上传文件）
梦忆故城的博客
01-16 1571
利用HDFS的JAVA API进行使用，完成获取系统文件对象、读取文件内容、上传文件三部分内容。 准备工作： 1.首先启动HDFS $HADOOP_HOME/sbin/start-dfs.sh 2.关防火墙 切换到root用户，执行service iptables stop（service firewalld stop） 3.进入eclipse后，首先在src/main创建resour...
HDFS的API操作 （Eclipse版）
m0_53415522的博客
10-13 4766
HDFS的API客户端操作，基本环境配置，hdfs文件上传下载删除更名等操作，以及hdfs的I/O流操作！！！
eclipse通过hdfs提供的api对hdfs进行文件操作
荒唐的程序猿
05-18 7571
上一文介绍了在本机windows搭建一个伪分布式环境，接下来就是在eclipse进行hdfs文件的读写等操作。 第一步需要获取eclipse进行hadoop开发的插件支持，hadoop第一代和第二代不同，第二代貌似没直接给插件，需要网上找，第一代的有，怎样去获取呢？想必大家很关心，我开始也纳闷这玩意儿在哪里？在网上也找过放进去结果没用，不知道是什么问题。后来查资料发现第一代的安装包有给。
在eclipse上面读写hdfs中的文件
韩韩的博客
10-24 2751
准备工作： 1.在创建工程之前，我们需要将hadoop的所有jar准备好。解压之后如图所示。 2.里面jar包非常全面，我们将所有jar包复制出来。在搜索框中输入.jar搜索。然后将所有jar包拷贝出来。 3.除了我们创建工程的jar包之外，还有source包和test包。我们分别创建_source和_test 文件夹，将里面的source包和test包剪切出来。 拷贝完成！ 注：- x...
HDFS API 文件读写代码演示
weixin_38655836的博客
09-13 782
在Maven工程中新建com.hadoop.senior.hdfs包，创建HDFSApp类，编写如下代码 右键项目名称新建source folder，路径为src/main/resources 将hadoop配置文件下的core-site.xml，hdfs-site.xml， log4j.properties文件复制到该目录下，如果项目中没有这些配置文件 程序在运行的时候是相当于运行在本地，
eclipse操作HDFS需要文件
10-13
5. **测试HDFS操作**：通过Eclipse内置的HDFS浏览器或者在代码中调用HDFS API，进行文件的读取、写入和删除等操作。 6. **运行和调试**：利用Eclipse的运行和调试功能，可以直接在本地或远程集群上执行Hadoop作业。...
云计算技术实验报告四HDFS文件的读写
06-21
实验报告“云计算技术实验报告四HDFS文件的读写”主要涵盖了如何在Hadoop的分布式文件系统（HDFS）上进行文件操作，包括文件的上传和下载，以及文件的合并。该实验是针对计算机科学专业的《云计算技术》课程设计，...
实验2 熟悉常用的HDFS操作
10-13
这些实验步骤旨在帮助学生掌握HDFS的常用操作，包括文件系统的交互、数据读写以及高级功能，如文件追加和目录管理。同时，通过使用Java API，学生将加深对Hadoop生态系统和文件系统API的理解，为后续的大数据处理和...
实验二：熟悉常用的HDFS操作
05-05
实验二：“熟悉常用的HDFS操作”旨在帮助学习者深入理解Hadoop分布式文件系统（HDFS）在大数据处理中的核心地位，以及如何通过Shell命令和Java API进行高效操作。HDFS在Hadoop架构中扮演着存储大数据的核心角色，为...
在Eclipse中从HDFS读取文件
jiejiexiao的博客
07-27 1975
package com.xjj.test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInp...
在Linux下的eclipse中编程实现HDFS的数据读写过程
hxhRxz的博客
04-07 1785
写入数据： 一、开启eclipse 打开虚拟机后，开启Hadoop集群，cd到eclipse的安装目录，输入命令./eclipse打开eclipse。 二、创建项目 点击左边空白处，单击右键，依次点击New—> Project… 出现如下界面后，我们选择Map/Reduce Project，然后点击Next。 在出现的界面当中，我们输入项目的名称，然后点击Next即可，在接下来的页面中...
HDFS API读取/写入过程
beeworkshop的博客
09-13 603
1. 读取过程 大概流程 具体过程 代码如下： FileSystem fs=FileSystem.get(conf); // 对于hdfs协议使用的是DistributedFileSystem // 该过程成还会调用DFSClient和DFSInputStream fs.open(path); // 返回FSDataInputStream，具体用的是HdfsDataInpu...
Hadoop环境配置eclipse配置Maven HDFS利用JAVA接口实现文件读写
hannah_7的博客
05-10 594
一 、下载解压Maven 官网：http://maven.apache.org/download.cgi 下载最新版本： 如下截图：1 下载以前版本： 如下截图：2 二、配置Maven环境变量 2.1 下载完解压到自己的文件夹 2.2 配置环境变量： 在环境变量中添加MAVEN_HOME，路径为你的Maven解压路径 在Path中添加 %MAVEN_HOME%/bin 三、配置Maven仓库 3.1配置阿里云库 1 找到你自己的Maven解压的路径 2 打开%MAVEN_HOME%/conf 下的se
如何在Eclipse上操作Hadoop
Dawn_Zi的博客
06-13 781
在Eclipse上如何对Hadoop进行操作，首先需要配置环境变量 由上图可见，需要配置俩个环境变量，一个是HADOOP_HOME,需要将工具类的地址输入 另一个是HADOOP_USER_NAME，因为在虚拟机中，root是最高权限用户，所以我们为了eclipse和Hadoop关联，需要在环境配置中把配置一个值为root的环境 接下来需要配置path 继续在系统变量中找到名为path的变量，点击...
在eclipse下操作HDFS
ami84217的博客
08-04 254
//方法一通过一个类IOUtils来实现 写文件 create 读取文件 open 删除文件delete 创建目录 mkdirs 删除文件或目录 delete 列出目录的内容 listStatus 显示文件系统的目录和文件的元数据信息 getFileStatus package hdfs; import java.io.InputStream; import ja...
Hadoop入门之eclipse对HDFS的常用操作
gznc_pcc的博客
07-17 1404
一、从HDFS读取文件输出到控制台 public static void catFile() throws IOException { //获取配置文件对象 Configuration conf = new Configuration(); //添加配置信息 conf.set("fs.defaultFS","hdfs:/...
【hadoop】Eclipse连接hadoop&读取hadoop系统中文件
暮色年华的博客
05-16 924
1、把hadoop安装包解压到c盘 2、下载hadoop-eclipse.rar，把hadoop.dll和winutile.exe放到hadoop的bin文件夹中 3、修改环境变量 把 hadoop-eclipse-plugin-2.7.3.jar包拷在安装路径的plugins的文件中，然后重启eclipse 4、新建map/reduce项目 host和port与master保持一致 读取系统文件： public class URLCat ...
Eclipse 上传 删除 下载 分析 hdfs 上的文件
lyfzxf的专栏
08-21 803
本篇讲解如何通过Eclipse 编写代码去操作分析hdfs 上的文件。1、在eclipse 下新建Map/Reduce Project项目。如图： 项目建好后，会默认加载一系列相应的jar包。 下面还有很多包。 2、我们新建java 类就可以了。代码如下：package org.hadoop.examples;import java.io.BufferedInputStream; impo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值