HDFS --访问(二)

最新推荐文章于 2023-10-08 10:30:21 发布
最新推荐文章于 2023-10-08 10:30:21 发布
阅读量2.1k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wawmg/article/details/8711789
版权
本文介绍了HDFS的两种访问方式，重点讲解了使用Java API进行访问的方法，提供了相关代码示例，适合在实际测试环境中应用。
摘要由CSDN通过智能技术生成

Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。

来看第二种。第二种和第一种完成的功能是一样的，直接上代码，里面一些注释的，在测试时自行打开测试即可。

package com.wmg.data.join2;


import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;


public class HDFSAcess {
/**
* @param args
* @throws IOException
*/
public static void main(String[] args) {
byte[] buffer = new byte[4096];
try {
最低0.47元/天 解锁文章
小于号yyds
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Hadoop平台的HDFS访问，shell方式常用命令。
weixin_43959331的博客
01-25 1631
通过shell访问HDFS常用命令以及类型。 HDFS 是 Hadoop 平台的核心组成之一。熟悉使用 Hadoop 平台需要熟练访问HDFS。 HDFS 的访问方式有多种：可通过 Web 访问，也可通过 Shell 方式或者 API 方式访问。 基本操作有对文件的读、写、追加、删除等。新建文件夹、删除文件夹等，还可显示文件及文件夹的属性。 命令分为一下类型：   &nb...
详解--访问HDFS的几种方式
ASIN的专栏
06-05 2万+
命令行访问hadoop fs -cat /user/hdfs/test_hadoop/data-256M采用上述命令查看文件时，依据hadoop的文件访问策略，hadoop会将距离该节点最近的备份传输过来。若上述文件的其中一个备份存在dn6上，在dn5上运行如上命令，则dn5和dn6的网络IO会增高，同时dn5的硬盘IO会增大，如下所示： 注意：若使用命令hadoop fs -ls /hdfs/t
Hdfs的访问方式
chunyi6295的博客
01-08 2266
HDFS --访问(一) Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。 先看第一种。 FS Shell cat chgrp chmod chown copyFromLocal ...
访问HDFS常见的客户端
代码星辰的博客
07-28 2798
目录1.HDFS Shell Command2.Java API3.C API libhdfs4.其它访问HDFS的方式4.1.WebHDFS4.2.HttpFS4.3.WebHDFS和HttpFS之间区别 访问HDFS常见的客户端有HDFS Shell Command、Java API、C API libhdfs等等。 1.HDFS Shell Command HDFS Shell Command的操作俗称HDFS命令行操作，其命令类似于Linux的shell对文件的操作，许多命令也与其相似，例如ls、m
通过Web的方式访问HDFS
最新发布
weixin_44943389的博客
10-08 4079
请注意，要能够访问这些Web界面，你需要确保Hadoop集群已经正确配置和运行，并且你的网络环境允许从你的机器访问集群中的这些节点。如果你的Hadoop集群有定制的配置或者有其他特殊要求，你可能需要参考你所使用Hadoop版本的文档以获取详细的信息。这是Hadoop集群的资源管理器界面，它提供了有关集群资源使用情况的信息，包括正在运行的作业、集群容量等。这是Hadoop集群的文件系统管理界面，它提供了对文件和目录的浏览、权限设置、文件复制数量等的管理。
hdfs-over-ftp安装包及说明
12-08
2. "hdfs-over-ftp-hadoop2.tar.gz"：这可能是一个针对Hadoop 2.x版本的压缩包，包含了所有必要的二进制文件、配置示例、脚本等，用于在运行Hadoop 2.x集群的环境中部署hdfs-over-ftp服务。 3. "hdfs-over-ftp-...
hdfs-site.xml配置文件详解
10-22
NameNode是HDFS的核心组件，负责管理文件系统的命名空间和客户端对文件的访问。日志级别决定了记录日志的详细程度，不同的值代表了不同的日志级别： - "INFO"：一般信息性的日志。 - "DEBUG"：可以记录命名空间变化...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
这个项目可能提供了在Hadoop环境中通过FTP进行文件传输的能力，使得非Hadoop用户也能方便地访问存储在HDFS上的数据。 描述 "在hadoop分布式文件系统上实现ftp服务" 暗示了这个压缩包包含了一个解决方案，允许用户...
hdfs-mount:将HDFS挂载为本地Linux文件系统的工具
03-11
允许将远程HDFS挂载为本地Linux文件系统，并允许任意应用程序/ Shell脚本以有效且安全的方式将HDFS作为普通文件和目录进行访问。 功能（计划中） 高性能 使用协议缓冲区直接为FUSE和HDFS连接Linux内核（不需要Java...
ranger-1.2.0-hdfs-plugin.tar.gz
04-21
Ranger是HDP体系统中安全管理的重要一环。它提供了具体资源（如HBase中的具体表）...ranger-1.2.0官方没有编译后的二进制tar包，而且编译的时间有点长，依赖的第三方库多，特意提供linux版本ranger-1.2.0的hdfs插件。
HDFS的两种访问方式
weixin_44943389的博客
04-08 319
shell java api 常用的操作类 configuration：封装了客户端或者服务器的配置 filesystem：对象是文件系统对象，通过静态方法获得filesystem对象 输入流输出流 fsdatainputstream fsdataoutputstream
hadoop访问hdfs 的两种方式
czw698的专栏
03-18 2万+
hadoop 提供了两种方式对hdfs 进行访问： 1 配置客户端，后台连接到客户端进行工作 客户端的配置比较简单，只要把配置好的hadoop的namenode节点的hadoop 打包，发到另一台机器（该机器不出现在 etc/hadoop/slaves里就可以） 设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下（启
读写HDFS的三种方式
楚兴
05-03 3286
1 HttpFS Authenticator.setDefault(new MyAuthenticator()); URL url = new URL("http://dev.test.com:14000/webhdfs/v1/tmp/test?op=OPEN"); InputStream ins = url.openConnection().getInputStream(); Buffered...
HDFS的访问方式之HDFS shell的常用命令
BADAO_LIUMANG_QIZHI的博客
08-03 2572
场景 CentOS7上搭建Hadoop集群(入门级)： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119335883 在上面搭建起来Hadoop集群的基础上，通过HDFS shell的方式访问HDFS的常用命令。 HDFS的访问方式有两种:一种是HDFS shell，一种是Java API方式。HDFS shell命令应 使用hadoop fs或hdfs dfs(其中官网建议使用hdfs dfs方式访问)。所有的HDF...
Web方式访问HDFS
moyefeng198436的专栏
02-02 1万+
Hadoop提供了两种Web方式访问HDFS，分别是：WebHDFS和HttpFS。 WebHDFS WebHDFS提供了访问HDFS的RESTful接口，是内置组件，并且默认开启，运行于NameNode和DataNode中，对HDFS文件的读写，将会重定向到文件所在的DataNode，并且会完全利用HDFS的带宽。； WebHDFS访问时，首先访问NameNode获知文件所在的DataNode地址，然后重定向到目标DataNode获取文件内容； WebHDFS默认端口是50070和50075.
Hadoop通过路径和和链接访问HDFS
热门推荐
sunrising_hill的专栏
12-10 2万+
如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs，也想通过"hdfs://local host:9000/user/hadoop的方式访问hdfs，此时做需要配置core-site.xml： fs.defaultFS hdfs://master.domain.com:9000       上面的配置只能让你使用"hadoop fs -ls
分布式文件系统(HDFS）与linux系统文件系统关系
捕影世界
10-25 905
每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位。 而构建于单个磁盘之上的文件系统(linux文件系统)通过磁盘块来管理该文件系统中的块，该文件系统中的文件大小是磁盘块的整数倍。磁盘块的大小一般为512字节，其读写的最小单位是磁盘块的最小单位，文件占用的块由inode进行管理，记录该文件存放数据的N个block的物理地址。 HDFS同样也有块的概念,HDFS文件系统中的块指的...
Alex 的 Hadoop 菜鸟教程: 第18课 用Http的方式访问HDFS - HttpFs 教程
软件哲学
02-10 1万+
HttpFs 有啥用? HttpFs可以干这两件事情: 1.通过HttpFs你可以在浏览器里面管理HDFS上的文件 2.HttpFs还提供了一套REST 风格的API可以用来管理HDFS。其实很简单的一个东西嘛，但是很实用。
利用 HDFS 的 URL 方式读取 HDFS 内文件内容
菜鸟的专栏
05-07 8037
准备工作： 与上一篇相同 代码：package com.peng.hdfs;import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandler
配置HDFS-HA集群
09-02
是的，配置HDFS-HA集群时，Zookeeper是必需的。Zookeeper是一个开源的分布式协调服务，它用于协调和管理Hadoop集群中的各种组件。在HDFS-HA集群中，Zookeeper用于管理和维护HA状态信息，包括主备NameNode的选举和故障转移等操作。 通过使用Zookeeper，HDFS集群中的各个组件可以共享和访问HA相关的元数据信息，以实现高可用性的故障转移。因此，要实现HDFS-HA集群，你需要配置和启动Zookeeper集群，并确保它正常运行。 在HDFS配置文件中，你需要指定Zookeeper的连接信息和相关配置，以便HDFS可以与Zookeeper进行通信并使用其提供的功能。这样，HDFS集群就可以通过Zookeeper来管理HA状态和故障转移。 总结来说，配置HDFS-HA集群时，确保正确配置和启动Zookeeper是非常重要的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值