大数据学习之javaAPI远程操作hadoop

已于 2023-08-04 11:01:58 修改
阅读量890 收藏 7
点赞数
文章标签： 大数据 hadoop java
于 2021-01-23 19:53:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52080234/article/details/113059696
版权

前言：

本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导…

本文所需材料

IntelliJ IDEA
官网→https://www.jetbrains.com/idea/
我的网盘→https://pan.baidu.com/s/1LPU4H0OcmH8NELdCwWOtIA
→t123

实操

前提：
打开hadoop集群
打开IDEA
①创建maven工程之javaAPI操作hadoop
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上面的setting.xml里面可以定制成阿里云的，国内的服务器嘛，下载更快！
接着会下载maven项目的‘架子’
好了之后是这样的
在这里插入图片描述
接下来导入我们需要的jar包
在pom文件添加

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <!--    xml配置文件中， hdfs.version称之为“标签”， 2.7.6 称之为“标签体” →-->
    <hdfs.version>2.7.6</hdfs.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>

    <!-- 导入hdfs api所需要的jar包对应的依赖-->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>${hdfs.version}</version>
    </dependency>

    <!--hadoop-client hadoop的客户端，借助该模块下的api，操作远程的hadoop分布式文件系统  -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <!--  $：el表达式，expression language的缩写  读取properties节点下指定的子节点的标签体的值-->
      <version>${hdfs.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>${hdfs.version}</version>
    </dependency>

  </dependencies>

添加好了我们刷新它会自动从远程仓库下载依赖包jar到本地
或者点击download sources and documentation也可以
在这里插入图片描述
出现以下依赖包且没有报红说明成功了！！！
在这里插入图片描述
配置log4j
resources
log4j.properties
在这里插入图片描述

log4j.rootLogger=WARN,stdout,file,R

log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n


log4j.appender.file = org.apache.log4j.FileAppender
log4j.appender.file.File = ./logs/log-infos.log
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

log4j.appender.R=org.apache.log4j.DailyRollingFileAppender
log4j.appender.R.File=./logs/log-infos.log
log4j.appender.R.layout=org.apache.log4j.PatternLayout
log4j.appender.R.layout.ConversionPattern=%d-[TS] %p %t %c - %m%n

创建测试Java文件
在这里插入图片描述

查看

/**
 * Copyright (C), 2021-01-23
 *
 * @author 田信坤
 * Author:   TianXinKun
 * Date:     2021/1/23 19:35
 * Description: 测试JavaAPI操作远程hadoop集群
 */
package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * <功能简要> <br>
 * <测试JavaAPI操作远程hadoop集群>
 *
 * @Author TianXinKun
 * @createTime 2021/1/23 19:35
 * This program is protected by copyright laws. <br/>
 * @version : 1.0
 */
public class TestHadoop {
    /**
     * FileSystem就是对HDFS的抽取和封装
     */
    private FileSystem fileSystem;

    /**
     * 对hdfs核心配置文件的抽取和封装，如：cores-site.xml,hdfs-site.xml
     */
    Configuration conf;

    /**
     * 进行初始化
     */
    @Before
    public void init() {
        //对全局变量进行初始化
        conf = new Configuration();
        try {
            //URI: uniform resource indentifer, 统一资源标识符，如：hdfs,http,ftp等等协议所标注的远程资源
            //URL: uniform resource locator, 统一资源定位符，一般指的是http所标识的网络资源，如：https://fanyi.baidu.com/#en/zh/artifact
            //URL是URI的子集
            URI uri = new URI("hdfs://Mymaster:8020/");

            fileSystem = FileSystem.get(uri,conf);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

    }

    /**
     * 测试环境→ 用来验证java客户端能够正常连接远程的hadoop分布式集群
     *
     * [root@master ~]# hdfs dfs -cat /input/a.txt
     * hello you
     *
     * hello kitty
     *
     * are you ok
     * 最近可好
     * 感觉如何？
     * [root@master ~]#
     */
    @Test
    public void testEnv() {
        System.out.println("fileSystem = " + fileSystem);

        try (FSDataInputStream in = fileSystem.open(new Path("hdfs://Mymaster:8020/input/Test.txt"))) {
            byte[] bytes = new byte[1024];
            int len = -1;
            while ((len = in.read(bytes)) != -1) {
                String content = new String(bytes, 0, len);
                System.out.print(content);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }


    /**
     * 进行资源释放
     */
    @After
    public void releaseResource() {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

进程确认
在这里插入图片描述
资源确定
在这里插入图片描述
在测试类中执行
在这里插入图片描述
结果正确，maven项目创建成功！！

hdfs文件移动+重命名

/**
 * Copyright (C), 2023/3/27 9:55
 *
 * @author 田信坤
 * Author:   TianXinKun
 * Date:     2023/3/27 9:55
 */

package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @Description hdfs文件移动+重命名
 * @createTime 2023/3/27 9:55 
 *             This program is protected by copyright laws.
 * @version : 1.0
 *@Author TianXinKun
 */
public class HdfsReName {
    /**
     * FileSystem就是对HDFS的抽取和封装
     */
    private FileSystem fileSystem;

    /**
     * 对hdfs核心配置文件的抽取和封装，如：cores-site.xml,hdfs-site.xml
     */
    Configuration conf;

    /**
     * 进行初始化
     */
    @Before
    public void init() {
        //对全局变量进行初始化
        conf = new Configuration();
        try {
            //URI: uniform resource indentifer, 统一资源标识符，如：hdfs,http,ftp等等协议所标注的远程资源
            //URL: uniform resource locator, 统一资源定位符，一般指的是http所标识的网络资源，如：https://fanyi.baidu.com/#en/zh/artifact
            //URL是URI的子集
            URI uri = new URI("hdfs://hadoop100:8020/");

            fileSystem = FileSystem.get(uri,conf);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

    }

    @Test
    public void testGet() {
        Path renamepath = new Path("hdfs://hadoop100:8020/input02/data02");
        Path hdfspath = new Path("hdfs://hadoop100:8020/input/data");
        try {
            fileSystem.rename(hdfspath,renamepath);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }


    /**
     * 进行资源释放
     */
    @After
    public void releaseResource() {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

文件上传

/**
 * Copyright (C), 2023/3/27 9:19
 *
 * @author 田信坤
 * Author:   TianXinKun
 * Date:     2023/3/27 9:19
 */

package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @Description hdfs 上传
 * @createTime 2023/3/27 9:19 
 *             This program is protected by copyright laws.
 * @version : 1.0
 *@Author TianXinKun
 */
public class HdfsPut {
    /**
     * FileSystem就是对HDFS的抽取和封装
     */
    private FileSystem fileSystem;

    /**
     * 对hdfs核心配置文件的抽取和封装，如：cores-site.xml,hdfs-site.xml
     */
    Configuration conf;

    /**
     * 进行初始化
     */
    @Before
    public void init() {
        //对全局变量进行初始化
        conf = new Configuration();
        try {
            //URI: uniform resource indentifer, 统一资源标识符，如：hdfs,http,ftp等等协议所标注的远程资源
            //URL: uniform resource locator, 统一资源定位符，一般指的是http所标识的网络资源，如：https://fanyi.baidu.com/#en/zh/artifact
            //URL是URI的子集
            URI uri = new URI("hdfs://hadoop100:8020/");

            fileSystem = FileSystem.get(uri,conf);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

    }
    /**
     * 上传本地文件到hdfs
     *
     * [root@master ~]# hdfs dfs -put /opt/input/a.txt
     */
    @Test
    public void testEnv() {
        Path localfeilpath = new Path("G:\\mavenproject\\Myhadoop\\data");
        Path hdfspath = new Path("hdfs://hadoop100:8020/input/");
        try {
            fileSystem.copyFromLocalFile(localfeilpath,hdfspath);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }


    /**
     * 进行资源释放
     */
    @After
    public void releaseResource() {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

文件下载

/**
 * Copyright (C), 2023/3/27 9:46
 *
 * @author 田信坤
 * Author:   TianXinKun
 * Date:     2023/3/27 9:46
 */

package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @Description 下载hdfs文件
 * @createTime 2023/3/27 9:46 
 *             This program is protected by copyright laws.
 * @version : 1.0
 *@Author TianXinKun
 */
public class HdfsGet {
    /**
     * FileSystem就是对HDFS的抽取和封装
     */
    private FileSystem fileSystem;

    /**
     * 对hdfs核心配置文件的抽取和封装，如：cores-site.xml,hdfs-site.xml
     */
    Configuration conf;

    /**
     * 进行初始化
     */
    @Before
    public void init() {
        //对全局变量进行初始化
        conf = new Configuration();
        try {
            //URI: uniform resource indentifer, 统一资源标识符，如：hdfs,http,ftp等等协议所标注的远程资源
            //URL: uniform resource locator, 统一资源定位符，一般指的是http所标识的网络资源，如：https://fanyi.baidu.com/#en/zh/artifact
            //URL是URI的子集
            URI uri = new URI("hdfs://hadoop100:8020/");

            fileSystem = FileSystem.get(uri,conf);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

    }

    /**
     * 测试环境→ 用来验证java客户端能够正常连接远程的hadoop分布式集群
     *
     * [root@master ~]# hdfs dfs -get /input/test.txt
     */
    @Test
    public void testGet() {
        Path localfeilpath = new Path("G:\\mavenproject\\Myhadoop\\get");
        Path hdfspath = new Path("hdfs://hadoop100:8020/input/test.txt");
        try {
            fileSystem.copyToLocalFile(false,hdfspath,localfeilpath,true);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }


    /**
     * 进行资源释放
     */
    @After
    public void releaseResource() {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

删除文件

/**
 * Copyright (C), 2023/3/27 10:10
 *
 * @author 田信坤
 * Author:   TianXinKun
 * Date:     2023/3/27 10:10
 */

package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * @Description 删除文件
 * @createTime 2023/3/27 10:10 
 *             This program is protected by copyright laws.
 * @version : 1.0
 *@Author TianXinKun
 */
public class HdfsDelete {
    /**
     * FileSystem就是对HDFS的抽取和封装
     */
    private FileSystem fileSystem;

    /**
     * 对hdfs核心配置文件的抽取和封装，如：cores-site.xml,hdfs-site.xml
     */
    Configuration conf;

    /**
     * 进行初始化
     */
    @Before
    public void init() {
        //对全局变量进行初始化
        conf = new Configuration();
        try {
            //URI: uniform resource indentifer, 统一资源标识符，如：hdfs,http,ftp等等协议所标注的远程资源
            //URL: uniform resource locator, 统一资源定位符，一般指的是http所标识的网络资源，如：https://fanyi.baidu.com/#en/zh/artifact
            //URL是URI的子集
            URI uri = new URI("hdfs://hadoop100:8020/");

            fileSystem = FileSystem.get(uri,conf);
        } catch (IOException e) {
            e.printStackTrace();
        } catch (URISyntaxException e) {
            e.printStackTrace();
        }

    }

    @Test
    public void testGet() {
        Path namepath = new Path("hdfs://hadoop100:8020/input02/data02");
        try {
            fileSystem.delete(namepath,true);
        } catch (IOException e) {
            throw new RuntimeException(e);
        }
    }


    /**
     * 进行资源释放
     */
    @After
    public void releaseResource() {
        if (fileSystem != null) {
            try {
                fileSystem.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}
小|熙
关注
java远程Hadoop_windows下eclipse远程连接hadoop集群开发mapreduce
weixin_31815843的博客
02-17 621
转载请注明出处，谢谢2017-10-22 17:14:09之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。用Hadoop eclipse plugin，可以浏览管理HDFS，自动创建MR程序的模板文件，最爽的就是可以直接Run on hadoop。1、安装插件下载ha...
大数据学习：使用Java API操作HDFS（2）
X_Serendipity的博客
12-06 606
重命名、显示文件列表、获取文件块信息、创建目录、判断目录或文件是否存在
Java API远程访问Hadoop
m0_54852350的博客
04-19 1177
简介 在部署了Hadoop机器的服务器上， 可以直接使用hadoop相关命令操作HDFS文件系统，参考 hadoop命令；或者编写可用hadoop命令执行的代码打成jar包，在服务器上运行。 本文主要介绍如何利用Java API 在Windows或未进行Hadoop部署的Linux环境远程访问Hadoop的HDFS系统。 Jar包依赖 hadoop-hdfs hadoop-common hadoop-client // Spring 依赖示例 dependencies { compile(‘or
（三）Java日志大数据（单机环境）学习笔记——Hadoop安装与配置
最新发布
qq_37268511的博客
07-01 2977
（三）Java日志大数据（单机环境）学习笔记——Hadoop安装与配置
java远程连接hadoop
陈伟键的博客
08-31 5473
最近在学习hadoop，在linux上面启动hadoop后准备用java操作hadoop，看了中文的资料都是坑~ String HDFS_PATH = "hdfs://192.168.203.128:9000"; //要连接的hadoop Configuration configuration = new Configuration(); configuration.set("fs.
Java调用Hadoop API
繁华落尽梦一场
07-15 835
hadoop提供的Java API主要用来对文件操作。最常见的也就是读、写、遍历。 总的来说，调用API的第一步获取FileSystem，可以用FileSystem fs = FileSystem.get()来获取。接下来如果是写（上传）文件，则用fs.create()，如果是读（下载）文件，则用fs.get()。然后再用FSDataInputStream、FSDataOutputStream
【大数据】HDFS Java API配置用户（远程用户）
GHD
10-26 2502
HDFS Java API配置用户（远程用户） 2018.010.26 前言 某项目使用HDFS Java API操作HDFS，但在本地机器运行单元测试时发现会出现permission denied的问题，原因是该单元测试是直接操作HDFS集群，而本地运行单测时默认会使用本地机器的登录用户去操作HDFS。为了保证单测在不同机器上运行结果一致，就需要在配置HDFS时设置集群环境中的远程用户。 方...
大数据学习之路01——让Hadoop在MacOS上跑起来
汪志宾的博客
05-17 815
文章目录安装目录准备工作JDK下载Hadoop安装与配置Hadoop修改JDK配置验证Hadoop单机模式执行配置core-site.xml配置hdfs-site.xml启动与停止Hadoop配置.bash_profile第一次启动hdfs需要格式化启动HDFS停止HDFSHDFS启动状态查看验证HDFS启动时遇到的坑一、sh: connect to host localhost port 22:...
大数据学习之路-Hadoop
weixin_43441789的博客
01-29 4099
Hadoop1. 大数据导论1.1 大数据概念1.2 大数据特点1.3 大数据应用场景1.4 大数据部门组织结构2. Hadoop简介与大数据生态2.1 Hadoop的介绍2.2 Hadoop三大发行版本2.3 Hadoop组成2.3.1HDFS架构概述2.3.2 YARN架构概述2.3.3 MapReduce架构概述2.4 大数据技术生态体系3. Hadoop运行环境搭建3.1 模板虚拟机环境准备3.2 克隆虚拟机3.3 安装JDK3.4 安装Hadoop3.5 Hadoop目录结构4. Hadoop运行
远程调用执行Hadoop Map/Reduce
04-19
NULL 博文链接：https://sgq0085.iteye.com/blog/1879442
大数据实战04-Java操作hadoop的常用的API
松花江畔
11-18 378
在前面的文章中介绍了在windows环境中开发hadoop的入门程序，并实现了在windows环境中连接虚拟机来模拟真实的远程连接的情况，接下来通过同样的连接方式来讲解hadoop的常用api的使用的方式 hadoop的使用方式 package com.kkcl.hadoop; import org.apache.hadoop.conf.Configuration; import org.a...
使用Java连接Hadoop进行编程
wr456wr的博客
06-24 3546
测试Java远程连接hadoop 编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream",要求如下： ①实现按行读取HDFS中指定文件的方法”readLine（）“，如果读到文件末尾，则返回为空，否则返回文件一行的文本 ②实现缓存功能，即利用”MyFSDataInputStream“读取若干字节数据时，首先查找缓存，如果缓存中有所需要数据，则直接由缓存提供，否则从HDFS中读取数据 实...
java 连接hadoop集群_学习日志---本地javaApi连接集群hdfs
weixin_36177953的博客
02-13 371
本地电脑连接指定集群的代码：publicclassTt_one{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://hadoop1:9000");FileSystemhdfs=F...
Java接口对Hadoop集群的操作
weixin_34273046的博客
07-14 101
Java接口对Hadoop集群的操作 首先要有一个配置好的Hadoop集群 这里是我在SSM框架搭建的项目的测试类中实现的 一、windows下配置环境变量 下载文件并解压到C盘或者其他目录。 链接：http://pan.baidu.com/s/1jHHPElg 密码：aufd 配置环境变量 1.配置HADOOP_HOME 2.配置PATH 在PATH中添加 %HADOOP_HOME%\bi...
Java/Web调用Hadoop进行MapReduce示例
热门推荐
陈杰
05-13 2万+
使用Java或JavaWeb封装Hadoop进行远程调用Hadoop MapReduce任务。
hadoop java 远程调用_Hadoop之RPC简单使用(远程过程调用协议)
weixin_29090677的博客
02-23 269
一、RPC概述RPC是指远程过程调用，也就是说两台不同的服务器(不受操作系统限制)，一个应用部署在Linux-A上，一个应用部署在Windows-B或Linux-B上，若A想要调用B上的某个方法method()，由于不在一个内存空间，不能直接调用，需要通过网络来表达调用的语意和传达调用的参数。楼主在接触RPC之前，用得最多的莫过于WebService。WebService可以说是在RPC发展的基础...
java 连接hadoop,使用SSH从Java应用程序连接到Hadoop
weixin_30670103的博客
02-12 303
I'm trying to connect to remote hadoop cluster, which isn't accessible just through HDFS. Right now it is being used in that way: user connects to Jump box through SSH (e.g. ssh user@somejumboxhost.co...
Hadoop入门教程：Linux环境完全分布配置与远程编程
你可以使用Java或其他支持的语言（如Python或Scala）编写Mapper和Reducer类，然后通过Hadoop的API提交作业到集群上运行。实验可能包括对文本文件进行简单统计，例如计算词频。 在Linux环境中，你还需要熟悉SSH工具...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值