【Java访问HDFS步骤】

最新推荐文章于 2023-11-02 15:55:44 发布
最新推荐文章于 2023-11-02 15:55:44 发布
阅读量710 收藏 1
点赞数
分类专栏： 开发 文章标签： hdfs java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lijiaqiong/article/details/128471689
版权
  1. Linux命令与Hadoop命令不一样。Linux磁盘系统和Hadoop系统不一致。
  2. 需要知道Hadoop的配置文件的信息。whereis hadoop命令找到相关的core-site.xml hdfs-site.xml
  3. 连接HDFS时，根据core-site.xml文件找到ip和端口连接HDFS，依据当前系统的用户名来寻找相应的HDFS的用户
  4. 所以想要操作哪个HDFS，需要将当前用户名改为一致。
  5. 找到HDFS操作的jar包。maven出Hadoop版本的jar包
  6. eclipse写出配置信息类和测试类。
  7. 本地host文件配置Hadoop的host文件 修改本地电脑的管理员用户名为root
李九三
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java 连接hdfs_JAVA API连接HDFS HA的几种方式
weixin_31734677的博客
02-13 1322
hadoop版本：2.7.3使用场景：线上服务写hdfs，写过程中namenode的master节点发生HA切换，为保证写服务不因为连接中断而终止，需要在客户端以nameservices 的方式初始化 FileSystem方式一 ：代码里添加配置项# conf.set("key", "value"); key保持不变，value值去core-site.xml 、hdfs-site.xml文件里找C...
JAVA操作HDFS集群
m0_56369204的博客
06-25 2072
本文介绍了使用Java操作HDFS集群的方法，具体的操作包括创建目录、删除文件、移动与重命名文件、查询文件信息以及文件的上传和下载等。通过示例代码和截图展示了每个操作的实际效果，帮助读者理解和使用HDFS安全模式和相关操作。
使用Java API操作HDFS
最新发布
m0_73832851的博客
11-02 3286
使用Java API操作HDFS的实验原理如下：配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xml和hdfs-site.xml等文件，以便Java程序能够连接到HDFS。引入Hadoop依赖：在Java项目中，需要引入Hadoop的相关依赖，包括hadoop-common、hadoop-hdfs等依赖，以便能够使用Hadoop提供的API。
HDFS之Java客户端操作
CSDN2022博客之星Top39；华为云博主7&，CSDN、稀土掘金、微信公众号、阿里云开发者社区、腾讯云社区、博客园、知乎、51CTO同名博主WHYBIGDATA；
06-27 2060
HDFS之Java客户端操作
JAVA连接hdfs 操作
weixin_43955659的博客
03-19 2057
JAVA连接hdfs 操作 //完整的一个连接hdfs 和操作步骤 @Test public void test06() throws URISyntaxException, IOException, InterruptedException { //创建连接 //获取主节点 URI uri = new URI("hdfs://hadoop100:9000"); Configuration entries = new Conf
java-Hdfs体系结构与基本概念
06-26
Java-HDFS 客户端是 HDFS 的 Java 实现，提供了一个 Java API 来访问 HDFS。Java-HDFS 客户端可以用来开发基于 HDFS 的应用程序。 * RPCClient：RPCClient 是 Java-HDFS 客户端的主要组件，负责与 NameNode 和 ...
Java访问Hadoop分布式文件系统HDFS的配置说明
09-02
总的来说，正确配置`core-site.xml`和`hdfs-site.xml`文件，以及在Java代码中设置正确的配置，是成功访问HDFS的关键步骤。理解这些配置项的含义和作用，有助于优化HDFS的性能和稳定性。在实际开发中，还需要注意安全...
02--HDFS Java API操作.docx
03-18
HDFS Java API 是 Hadoop 中的一部分，提供了一个 Java 编程接口来访问和操作 HDFS 中的文件和目录。该 API 提供了多种方法来操作文件和目录，包括创建、删除、读取和写入文件，列出目录中的文件和子目录等。 二、...
HDFS实验_实验三.docx
06-06
本实验报告旨在介绍 HDFS（Hadoop Distributed File System）实验的详细步骤和结果，涵盖了 HDFS 的基本概念、Hadoop 环境设置、Shell 命令、Java API、文件操作、目录操作、Web 界面管理等方面的知识点。...
【HDFS篇04】HDFS客户端操作 --- 文件操作1
08-04
以上就是HDFS客户端操作文件的基本步骤和参数优先级规则。这些操作对于日常的数据处理和管理至关重要，它们确保了数据的安全性和可访问性。理解并熟练掌握这些知识点，能够帮助我们在实际工作中更有效地利用HDFS存储...
使用java代码连接HDFS
balalaxstar的博客
03-29 762
前提是输入localhost:50070可以正常进入网页 Configuration conf=new Configuration(); try { FileSystem fs= FileSystem.get(new URI("hdfs://192.168.175.100:9000"),conf,"root"); //创建文件夹 fs.mkdirs(new Path("/testHDFS/java/hello")); //上传文件 .
hdfs Java使用_java使用hdfs
weixin_33998152的博客
02-12 225
1、mavenorg.apache.hadoophadoop-client2.7.3org.slf4jslf4j-log4j12org.slf4jlog4j-over-slf4j2、resource放置core-site.xml/hdfs-site.xml3、工具类packagecom.test;importorg.apache.commons.lang.StringUtils;import...
hbase 及 hdfs Java api连接的建立
lbovery的博客
02-11 355
网上看到很多Java api连接的建立方案，感觉有点繁琐，后查阅文档后得到最简单的两种方案 方案一：将要连接的hadoop集群中 hdfs-site.xmlcore-site.xml hbse-site.xml （连接hbase用）复制到RESOUCES下， 获取hdfs 文件系统 Configurationconfiguration =new Configuration();...
Hadoop大数据生态：Hive自定义设置连接用户名和密码
alan_liuyue的博客
05-17 7870
简介 当hive客户端搭建起来之后，应用项目远程连接hive需要设置用户名和密码； 由于hive默认的用户名和密码都是空的，所以需要我们自定义用户名和密码； 实践 首先，需要先用java开发工具打包一个jar工具类，用于解析用户名和密码，可直接下载这个jar工具包：hiveAuth.jar； 也可以自行通过编写代码进行打jar包，代码如下： package org.apache.hado...
Java远程操作HDFS文件系统
一直在努力的小渣渣
05-30 4164
目标：通过Java编程实现远程HDFS文件系统的增、删、改、查，并且解释原理。 一、准备工作 集群：搭建Hadoop集群，并且启动HDFS。详细过程可以参考：Hadoop-2.5.1安装步骤及异常处理 二、创建Maven工程 选择创建工程： 选择JDK版本，并勾选"create from archetype"选项，千万不要手贱选择“quick start”，选快速开启的话，创建的maven工程中...
hadoop2.2.0&HDFS的java访问接口
qq_46351339的博客
04-29 2136
4.5.1.搭建 Hadoop 开发环境我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开 发阶段，我们使用 windows 下的 eclipse 作为开发环境，访问运行在虚拟机中的 HDFS。也就是通过在本地的 eclipse 中的 java 代码访问远程 linux 中的 hdfs。 要使用宿主机中的 java 代码访问客户机中的 hdfs，需要保证以下几点： 确保宿主机与客户机的网络是互通的 确保宿主机和客户机的防火墙都关闭，因为很多端口需要通过，为了减少防火墙配
java访问HDFS笔记
insaneNx的博客
04-22 5774
  之前在服务器中利用docker实现完全分布式的部署。对hadoop中hdfs有个初步认识，接下来开始学习如何利用JavaAPI访问，实现读写等简单操作。之前是利用hadoop自带的shell命令对文件进行读写。   由于是本地练习，这次采用的是伪分布的部署，在部署完成后遇到1个问题，在namenode格式化的时候输出信息中 host = localhost，如下图   格式化是没任何问题的，...
java 操作hdfs(连接HDFS)
weixin_30388677的博客
03-21 555
FileSystem fs = null; Configuration conf = null; @Before public void init() throws Exception{ conf = new Configuration(); // fs=FileSystem.get(co...
hadoop学习笔记--5.HDFS的java api接口访问
liuzebin9的专栏
04-14 6616
hadoop学习笔记--5.HDFS的java api接口访问 一：几个常用类介绍    （1）：configuration类：此类封装了客户端或服务器的配置，通过配置文件来读取类路径实现（一般是core-site.xml）。 （2）：FileSystem类：一个通用的文件系统api，用该对象的一些方法来对文件进行操作。 FileSystem fs = FileSystem.get(c
利用JAVA api访问hdfs
04-23
好的，我理解您的要求。关于您的问题，利用Java API访问HDFS，您可以通过以下步骤来实现： 1. 导入Hadoop的依赖jar包。 2. 创建一个Configuration对象，并设置HDFS的相关配置信息，如Hadoop的文件系统类型、文件系统的地址等。 3. 创建一个FileSystem对象，通过这个对象来进行HDFS的操作，如读取文件、上传文件、删除文件等。 4. 调用FileSystem对象的相应方法来实现HDFS的访问。 以下是一个简单的Java程序，利用Hadoop的Java API来访问HDFS： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HdfsTest { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); FileSystem fs = FileSystem.get(conf); Path path = new Path("hdfs://localhost:9000/user/test/test.txt"); fs.create(path); fs.close(); } } ``` 以上程序通过FileSystem对象创建了一个名为test.txt的文件，并将其存储到HDFS的/user/test目录下。 希望能解答您的问题，如果还有其他问题，随时可以问我哦。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值