使用Java API访问Hdfs服务器

使用Java API访问Hdfs服务器

本文使用IDEA 通过Java方式,远程访问/操作hdfs服务器,实现window本地文件与hdfs服务器端文件的互传,以及使用java远程创建和删除hdfs服务器上的文件

一、运行环境

  1. 使用Maven创建一个新的项目testToHdfs,步骤如下:
    选择maven…quickstart
    在这里插入图片描述
    创建项目名称:testToHdfs
    在这里插入图片描述
    选择本地Maven工程的安装路径:
    在这里插入图片描述

选择Maven/conf 文件夹下的setting.xml文件:
在这里插入图片描述

选择setting文件中指定设置好的jarstore文件夹:
注:可以查看maven安装目录conf文件夹下的setting文件:
在这里插入图片描述
在这里插入图片描述
创建完成,进入IDEA界面,将下图中1.7改成1.8,  4.11改成4.12
在这里插入图片描述
<dependencies>...</dependencies>中插入以下代码,引入相关jar包

<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.0</version>
    </dependency>
    <dependency>
      <groupId>commons-logging</groupId>
      <artifactId>commons-logging</artifactId>
      <version>1.2</version>
    </dependency>

点击IDEA界面右下角的import Changes 引入jar包:
在这里插入图片描述
2.window配置hadoop环境:
①:以管理员运行,将准备好的hadoop安装包解压到当前路径文件夹下,在这里插入图片描述
②:将准备好的hadoopBin压缩包解压,
在这里插入图片描述
复制hadoopbin文件夹中的所有文件,拷贝至步骤①中hadoop-2.6.0-cdh5.14.2文件夹bin目录下
③:将hadoopBin中hadoop.dll文件,拷贝至 C:\Windows\System32 目录下
④:设置window系统的环境变量:

  • 添加 HADOOP_HOME 路径:

如下图所示:
在这里插入图片描述

  • 添加 HADOOP_HOMEbin路径:
%HADOOP_HOME%\bin
%HADOOP_HOME%\sbin

如下图所示:
在这里插入图片描述

二、java连接hdfs服务器

  1. 开启Linux虚拟机hadoop-1,开启hdfs服务:  start-dfs.sh
  2. 创建resouces目录,使之成为默认资源目录,将准备好的log-4j.properties粘贴至目录下:
    在这里插入图片描述
  3. IDEA创建实体类 HdfsClient

在这里插入图片描述
相关代码如下:
①上传文件:

  @Test
    public void testCopyFromLocalFile() throws Exception{
        //1.创建配置文件
        Configuration conf= new Configuration();
        //2.获取文件系统
        FileSystem fs=FileSystem.get(new URI("hdfs://192.168.37.101:9000"),conf,"root");
        //3.调用API操作
        fs.copyFromLocalFile(new Path("f:/test/mobile.txt"),new Path("/hdfs"));
        fs.close();
    }

②:下载文件:

 @Test
    public void testCopyFromHdfs() throws Exception{
        //1.创建配置文件
        Configuration conf= new Configuration();
        //2.获取文件系统
        FileSystem fs=FileSystem.get(new URI("hdfs://192.168.37.101:9000"),conf,"root");
        //3.调用API操作
        fs.copyToLocalFile(new Path("/hdfs/mobile.txt"),new Path("f:/"));
        fs.close();
    }

③:创建一个文件夹:

 @Test
    public void testMkdirs()throws Exception{
        //1.创建配置文件
        Configuration conf =  new Configuration();
        //2.获取文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.101:9000"),conf,"root");
        //3.调用API操作
        fs.mkdirs(new Path("/hdfs/shell"));
        //4.关闭资源
        fs.close();
    }

④:删除文件:

 @Test
    public void testDelete()throws Exception{
        //1.创建配置
        Configuration conf =  new Configuration();
        //2.获取文件系统
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.37.101:9000"),conf,"root");
        //3.调用API
        //代表递归删除
        fs.delete(new Path("/hdfs/mobile.txt"),true);
        //4.关闭资源
        fs.close();
    }

注:验证操作是否成功可以在 http://192.168.37.101:50070 页面查看(92.168.37.101为虚拟机haoop-1的ip地址)
如图:
在这里插入图片描述

  • 4
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
下面是使用 HBase 客户端 API 连接到 HBase 服务器、创建 HBase 表、为表指定列族、从 HDFS 上读取 CSV 文件并将行数据插入到 HBase 表中的代码示例: ``` import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.client.Table; import org.apache.hadoop.hbase.util.Bytes; import java.io.BufferedReader; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.List; public class HBaseClient { public static void main(String[] args) throws Exception { // 配置 HBase 连接 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "zookeeper1,zookeeper2,zookeeper3"); conf.set("hbase.zookeeper.property.clientPort", "2181"); // 连接 HBase Connection connection = ConnectionFactory.createConnection(conf); // 创建表 TableName tableName = TableName.valueOf("my_table"); HBaseAdmin admin = (HBaseAdmin) connection.getAdmin(); if (!admin.tableExists(tableName)) { HTableDescriptor tableDesc = new HTableDescriptor(tableName); HColumnDescriptor columnDesc = new HColumnDescriptor("data"); tableDesc.addFamily(columnDesc); admin.createTable(tableDesc); } // 获取表 Table table = connection.getTable(tableName); // 从 HDFS 读取 CSV 文件 FileSystem fs = FileSystem.get(conf); Path path = new Path("hdfs://namenode:8020/path/to/file.csv"); BufferedReader reader = new BufferedReader(new InputStreamReader(fs.open(path))); // 逐行处理 CSV 文件 String line; while ((line = reader.readLine()) != null) { String[] parts = line.split(","); // 生成行键 byte[] rowKey = generateRowKey(parts[0], parts[1]); // 生成 Put 对象 Put put = new Put(rowKey); put.addColumn(Bytes.toBytes("data
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值