IDEA的Maven环境配置 HDFS Java API MapReduce WordCount

最新推荐文章于 2022-03-22 23:57:32 发布
最新推荐文章于 2022-03-22 23:57:32 发布
阅读量657 收藏 6
点赞数 3
分类专栏： 大数据开发技术 文章标签： hadoop maven hdfs java mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45755831/article/details/111346541
版权

文章目录

环境：
jdk 1.8
maven 3.6.3
hadoop 2.8.5
idea 2019.3
Vmware 12.0

IDEA的Maven环境配置

Maven安装以及配置文件的修改

下载maven文件并解压到本地目录
在这里插入图片描述

本地仓库

在maven同级目录新建repository文件夹

在这里插入图片描述
打开apache-maven-3.6.3\conf目录，发现setting.xml文件。
发现标签标签，写上本地新建repository文件夹的目录
按自己的目录来
E:\Enviro Config\maven\repository

<localRepository>E:\Enviro Config\maven\repository</localRepository>

阿里云镜像

在setting文件内发现mirrors标签，在该标签内添加

<!-- 阿里云仓库 -->
<mirror>
	<id>alimaven</id>
	<name>aliyun maven</name>
	<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
	<mirrorOf>central</mirrorOf>
</mirror>

设置Maven下载的jdk版本

在setting文件内发现profiles标签，在该标签内添加

<profile>
	<id>JDK-1.8</id>
	<activation>
		<activeByDefault>true</activeByDefault>
		<jdk>1.8</jdk>
	</activation>
	<properties>
		<maven.compiler.source>1.8</maven.compiler.source>
		<maven.compiler.target>1.8</maven.compiler.target>
		<maven.compiler.compilerVersion>1.8</maven.compiler.compilerVersion>
	</properties>
</profile>

新建Maven项目

注意标红的地方
在这里插入图片描述
后面的名称自己随便写就行。
在pom.xml的project标签加上依赖：
在这里插入图片描述

<dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.8.5</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-yarn-api -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-yarn-api</artifactId>
            <version>2.8.5</version>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
    </dependencies>

IDEA中maven的配置

打开idea的setting，找到maven。
选择自己刚才配置的地方，三个分别的maven、maven配置文件、本地仓库。
在这里插入图片描述

一些设置：
在这里插入图片描述

在这里插入图片描述

HDFS Java API

在工程main内新建packeges：com.itcast.hdfsdemo。
在这里插入图片描述

在包内新建java代码，目录和IP都需要改一下。运行前不要忘记开启hdfs。

start-all.sh

copyFromLocal.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class copyFromLocal {
    public static void main(String[] arg) throws Exception{
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS","hdfs://192.168.74.133:9000");
        //通过如下的方式进行客户端身份的设置
        FileSystem fs= FileSystem.get(conf);
        //本地文件
        Path src =new Path("本地地址");
        //HDFS为止
        Path dst =new Path("hdfs://192.168.74.133:9000/mydir/");
        fs.copyFromLocalFile(src,dst);
        System.out.println("上传成功！");
    }
}

copyToLocalFile.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class copyToLocalFile {
    public static void main(String[] arg) throws Exception{
        Configuration conf=new Configuration();
        conf.set("fs.defaultFS","hdfs://192.168.74.133:9000");
        //通过如下的方式进行客户端身份的设置
        FileSystem fs= FileSystem.get(conf);
        //本地文件
        Path dst =new Path("");
        //HDFS为止
        Path src =new Path("hdfs://192.168.74.133:9000/page1.html");
        fs.copyToLocalFile(src,dst);
        System.out.println("下载成功！");

    }
}

FileSystemCat.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URI;
public class FileSystemCat {

        public static void main(String[] arg) throws Exception{
            String uri="hdfs://centos01:9000/page1.html";
            Configuration conf = new Configuration();
            FileSystem fs=FileSystem.get(URI.create(uri),conf);
            InputStream in = fs.open(new Path(uri));
            IOUtils.copyBytes(in,System.out,4096,false);
            IOUtils.closeStream(in);
        }
}

getListMetaData.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URI;

public class getListMetaData {
    //构造配置参数对象
    static Configuration conf = new Configuration();
    //设置参数，指定要访问的文件系统的类型
    private static FileSystem hdfs;
    public static void showDir(FileStatus fs) throws Exception{
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        hdfs=FileSystem.get(conf);
        Path path = fs.getPath();

        System.out.println(path.toString());
        if (fs.isDirectory()){
            FileStatus[] f = hdfs.listStatus(path);
            if (f.length > 0){
                for (FileStatus file: f){
                    showDir(file);
                }
            }
        }
        else{
            String p = fs.getPath().toString();
            String uri=p;
            Configuration conf = new Configuration();
            FileSystem hdfs=FileSystem.get(URI.create(uri),conf);
            InputStream in = hdfs.open(new Path(uri));
            IOUtils.copyBytes(in,System.out,4096,false);
            IOUtils.closeStream(in);
        }
    }
    public static void main(String[] arg) throws Exception{
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        hdfs=FileSystem.get(conf);
        Path path = new Path("/");
        FileStatus[] list = hdfs.listStatus(path);
        if(list.length > 0){
            for (FileStatus f: list){
                showDir(f);
            }
            hdfs.close();
        }
    }
}

HDFSmkdir.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSmkdir {
    public static void main(String[] arg) throws Exception{
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        FileSystem hdfs = FileSystem.get(conf);
        boolean isok=hdfs.mkdirs(new Path("hdfs:/mydir"));
        if(isok){
            System.out.println("创建目录成功！");
        }
        else{
            System.out.println("创建目录失败！");
        }
        hdfs.close();
    }
}

HDFSmkfile.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSmkfile {
    public static void main(String[] arg) throws Exception{
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        FileSystem hdfs = FileSystem.get(conf);
        FSDataOutputStream outputStream=hdfs.create(new Path("hdfs:/mydir/newFile.txt"));
        outputStream.write("nice to meet you".getBytes());
        outputStream.close();
        hdfs.close();
    }
}

HDFSrm.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HDFSrm {
    public static void main(String[] arg) throws Exception{
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        FileSystem fs=FileSystem.get(conf);
        Path path = new Path("/mydir/newFile.txt");
        boolean isDeleted=fs.delete(path,false);
        //递归删除
        //boolean isDeleted=hdfs.delete(delef,true);
        System.out.println("Delete?"+isDeleted);
        fs.close();
    }
}

ListStatus.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class ListStatus {
    //构造配置参数对象
    static Configuration conf = new Configuration();
    //设置参数，指定要访问的文件系统的类型
    private static FileSystem hdfs;
    public static void showDir(FileStatus fs) throws Exception{
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        hdfs=FileSystem.get(conf);
        Path path = fs.getPath();
        System.out.println(path.toString());
        if (fs.isDirectory()){
            FileStatus[] f = hdfs.listStatus(path);
            if (f.length > 0){
                for (FileStatus file: f){
                    showDir(file);
                }
            }
        }
    }
    public static void main(String[] arg) throws Exception{
        hdfs=FileSystem.get(conf);
        Path path = new Path("/");
        FileStatus[] list = hdfs.listStatus(path);
        if(list.length > 0){
            for (FileStatus f: list){
                showDir(f);
            }
            hdfs.close();
        }
    }
}

MapReduce WordCount

不要忘记准备文件，且output文件夹不能存在，否则会报错。
其实我个人一般喜欢分开写map、reduce、jobmain分开写类。
WordCountDemo.java

package com.itcast.hdfsdemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/**
 * MapReduce单词统计
 */
public class WordCountDemo {

    /**
     * 自定义Mapper继承：org.apache.hadoop.mapreduce.Mapper，实现map方法
     */
    public static class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {

        @Override
        protected void map(LongWritable key, Text value,
                           Mapper<LongWritable, Text, Text, IntWritable>.Context context)
                throws IOException, InterruptedException {
            String[] words = value.toString().split(" ");
            for (String word : words) {
                context.write(new Text(word), new IntWritable(1));
            }
        }
    }

    /**
     * 自定义Reducer继承:org.apache.hadoop.mapreduce.Reducer，实现reduce方法
     */
    public static class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        @Override
        protected void reduce(Text key, Iterable<IntWritable> values,
                              Reducer<Text, IntWritable, Text, IntWritable>.Context context)
                throws IOException, InterruptedException {
            int count = 0;
            for (IntWritable writable : values) {
                count += writable.get();
            }
            context.write(key, new IntWritable(count));
        }
    }

    /**
     * job启动类，设置参数并集群中提交job
     * @param args
     * @throws Exception
     */
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://centos01:9000");
        Job job = Job.getInstance(conf);
        job.setJarByClass(WordCountDemo.class);
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.setInputPaths(job, new Path("/tmp/input"));
        FileOutputFormat.setOutputPath(job, new Path("/tmp/output"));

        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}
Leviathan_Four
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问...使用 Java API 操作 HDFS 需要配置好 Maven 环境，获取 FileSystem 对象，然后使用它来读取和写入 HDFS 文件。
HDFS JavaAPI
weixin_47243236的博客
11-18 1614
版本说明：JDK1.8、hadoop-2.7.7 HDFS 具有两种操作方式：命令行、Java API 命令行操作参考：Hadoop HDFS 下面我们就来聊聊如何在 IDEA 上操作 HDFS ！ 1. IDEA HDFS 在 IDEA 中操作 HDFS 需要一个项目管理和构建工具 Maven，没有配置 Maven 的话可以使用 IDEA 自带的，想动手配置的话可以参考这篇：Windows系统maven安装配置 还需要导入相关的依赖项，不知如何导依赖，可参考这篇的前半部分：MyBatis初识+创建项目.
Hadoop入门IntelliJ编写Maven创建HDFS文件
天上掉下两毛钱
01-22 1837
1、创建一个Maven工程HdfsClientDemo 2、在该项目的pom.xml文件中添加以下代码：导入相应的依赖坐标+日志添加 &lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artif...
IDEA 下使用maven 创建 MapReduce(配置环境 Mac OS)
kong
12-05 5702
第一次使用 maven 创建项目，第一次碰到的坑不少，但是 maven 的确好用啊！！看别的好多博客写的教程不清楚，并且好多都是复制的，期间遇到了好多坑也没解释。简单说下步骤，和我遇到的坑~~~~环境：IDEA JDK1.8（已配置）maven（官网下载的没使用 IDEA 自带的）第一步：maven 搭建 1. 官网下载 http://maven.apache.org/download.cgi
IDEA+Maven运行调试MapReduce程序
qq_42582489的博客
12-03 1381
IDEA+MAven运行调试MapReduce程序 文章目录IDEA+MAven运行调试MapReduce程序新建java类配置输入文件路径修改level参数添加Application配置运行调试常见报错Error:java: 不支持发行版本 5Windows下的权限问题参考博客 新建java类 在项目的左侧文件目录中，选择 srcsrcsrc -> mainmainmain -> j...
idea使用maven搭建Hadoop环境并运行第一个mapreduce程序实现WordCount
林立可
11-18 2491
（一）MapReuduce入门之环境搭建 1，定义：mapReduce是一种分布式计算框架，Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序，并发运行在一个 hadoop 集群上。 2，特点：mapReduce易于编程、扩展性好、适合处理PB级别数据；但是他不适合处理实时数据，流失计算、有向图计算等。 3，mapreduce程序编写规则： 1）Mapper 阶段 （1）用户自定义的 Mapper 要继承自己的父类 （2）Mapper 的输入数据是 KV 对
wordcount：使用Java的Hadoop MapReduce单词计数
02-04
字数 使用Java的Hadoop MapReduce字数统计 运行： hadoop jar wordcount.jar "input_folder" "output_folder" “ input_folder”和“ output_folder”是HDFS上的文件夹。
mapreduce的wordCount案例
11-15
开发者会创建一个包含main方法的Java类，这个类定义了MapReduce作业的配置和逻辑。然后，使用如Maven或Gradle这样的构建工具将源代码编译为class文件，并将其与依赖库一起打包成JAR。 在描述中提到，我们可以直接在...
hadoop mapreduce 例子项目，运行了单机wordcount
07-28
5. 单机模式下的Hadoop运行环境配置和应用部署。 了解这些内容对于初学者来说是进入Hadoop世界的重要步骤，它提供了实践经验，帮助理解分布式计算的核心思想。随着对Hadoop的深入学习，可以进一步探索更复杂的数据...
基于Windows eclipse maven Hadoop 的WordCount源码
10-14
总结来说，基于Windows、Eclipse、Maven和Hadoop实现WordCount源码的过程主要包括以下步骤：配置开发环境、创建Maven项目、编写MapReduce代码、打包成jar文件，以及在Hadoop集群上运行作业。通过这个过程，我们可以...
Hadoop +API之idea+maven搭建HDFS开发环境
01-07
1、首先你要有一个开发工具idea 2、你要有一个集群–hadoop集群，集群都没有你要使用什么来进行开发呢？或者说你要开发了哪里去呢？对吧 环境搭建—本地环境配置 环境搭建–集群环境搭建 3、集群以及本地开发环境的jdk版本要保持一致 4、maven 4.1添加maven的pom依赖 https://mvnrepositi.com 搜索hadoop—选择对应版本—-就有maven的pom依赖，根据需求搜索其他的对应开发包进行相应的pom依赖添加 这里需要添加hadoop以及hdfs的相应依赖 4.2 修改maven库位置 file-setting–maven 5、创建文件夹resourc
MapReduce之wordcount范例代码
01-04
Hadoop初学MapReduce最经典的范例
idea编写mapreduce工程pom文件
08-08
用于在idea编写hadoop（mapreduce）程序时的maven pom文件。可直接使用搭建mapreduce工程。
大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea
04-11
本文是从头到尾有关大数据的最完整的文章。
HDFS Java API操作（IDEA版）
大头皮鞋的博客
03-22 1万+
目标 编写Java API来操作HDFS，完成的操作有：文件上传、文件下载、新建文件夹、查看文件、删除文件。 前提条件 1.Windows下安装好jdk1.8 2.Windows下安装好maven，这里使用Maven3.6.3 3.Windows下安装好IDEA，这里使用IDEA2021 4.Linux下安装好hadoop2，这里使用hadoop2.7.3 操作步骤 1.新建一个Maven工程 打开IDEA-->File-->New-->Project 选择
IDEA 创建HDFS项目 JAVA api
weixin_30475039的博客
07-21 503
1.创建quickMaven 1.在properties中写hadoop 的版本号并且通过EL表达式的方式映射到dependency中 2.写一个repostory将依赖加载到本地仓库中 这是加载完成的页面 这是开发代码 package com.kevin.hadoop;import org.apache.hadoop.conf.Configurati...
Hadoop实操2--java API操作HDFS文件+详细的源码单元测试（IDEA）
叶小刀
08-24 2376
主要操作HDFS文件的查看，添加，删除，上传，下载。完整源码见后面 环境搭建见：https://blog.csdn.net/qq_25948717/article/details/82015131 Maven就是方便包的管理版本匹配 搭建好如图： 配置： 可以看到右下角正在下载依赖，第一耗时很长 =========================================...
idea下MAVEN+Hadoop+实现HDFS基本操作
TrueDei
01-31 3342
环境 操作系统win10，jdk1.8，maven3.x，hadoop2.7.7,idea软件 一、使用idea创建一个Maven项目 普通的maven项目即可 输入一些信息 如下：这就是一个maven项目 pom.xml文件内容如下： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.a...
建立Maven环境配置及Java安装教程
要建立Maven环境配置方案，首先需要确保已经进行了Java的安装。在安装Java时，要点击jdk-7u60-windows-i586.exe文件来进行系统安装。在安装过程中，需要注意路径的更改，可以根据个人喜好将路径更改为E:\Program ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值