手把手教你在Windows上靠IntelliJ IDEA用java写一个wordcount程序打包成jar在CentOS 7的hadoop的HDFS里运行

最新推荐文章于 2022-10-01 18:16:45 发布
最新推荐文章于 2022-10-01 18:16:45 发布
阅读量782 收藏 18
点赞数 5
文章标签： 大数据 hadoop mapreduce java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43008103/article/details/118703094
版权

现在Windows上操作

去IntelliJ IDEA官网下载https://www.jetbrains.com/idea/download/#section=windows

安装包下载好后双击打开

下载jdk和hadoop

https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

不懂下载的看我之前发的https://blog.csdn.net/qq_43008103/article/details/118668959

 双击打开下载好的jdk安装包

 什么都不用改，全部默认下一步

 安装完成

 给jdk配置环境变量

在Windows左下角开始菜单右边有个放大镜的图标，点击输入“环境变量”

点击编辑系统环境变量

JAVA_HOME
C:\Program Files\Java\jdk1.8.0_291

%JAVA_HOME%\bin

然后检验以下jdk环境变量配置成功没有

在键盘上按“win+R”（win是键盘左下角的开始菜单）然后输入

cmd

javac -version

 能出来版本号就说明成功了，cmd窗口可以关掉了，接下来在Windows简单的安装Hadoop

hadoop官网的下载地址https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

解压hadoop的压缩包需要管理员权限，推荐使用WinRAR，7-Zip或者Bandizip解压，因为我试过像2345好压和360压缩都解压不了，我这里用的是7-Zip

等待解压完成后就可以关闭压缩软件的窗口了，接下来配置hadoop环境变量

还是那个方法，在左下角“搜索”里输入环境变量，选择“编辑系统环境变量”，然后选择“环境变量”

HADOOP_HOME
D:\hadoop-2.10.1

%HADOOP_HOME%\bin

C:\PROGRA~1\Java\jdk1.8.0_291

键盘按“win+R”打开运行窗口输入“cmd”

 输入hadoop检验安装是否完成

hadoop

要想在Windows上使用Hadoop，我们还需要对应的hadoop.dll和winutils.exe

链接：https://wwr.lanzoui.com/b02c8tovc
密码：9zta

可能会弹出有风险

选择“保留”

或者你打开的下载页面是这样的，直接点保留

 下载好hadoop.dll和winutils.exe后，把他们移动到hadoop的bin目录下D:\hadoop-2.10.1\bin

然后再复制hadoop.dll放到C:\Windows\System32目录下

下一个idea免费体验30天的重置工具

链接: https://pan.baidu.com/s/129rlAeNMlNJQ0gbBhs5ZgQ

提取码: 4ppy

把下载好的ide-eval-resetter-2.1.14.zip放到D:\Program Files\JetBrains防备误删

在桌面双击图标打开idea

重新打开idea它会自动加载上一次打开的程序

接下来导入hadoop的依赖包

根据各自的编程习惯组织源码结构，本人的目录结构如下建立

 WordCountMapper.java代码如下：

package main.edu.mapper;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        //获取读取到的每一行数据
        String line = value.toString();
        //通过空格进行分割
        String[] words = line.split(" ");
        //将初步处理的结果进行输出
        for (String word : words) {
            context.write(new Text(word), new IntWritable(1));
        }
    }
}

“CTRL+S”保存代码

WordCountReducer.java代码如下：

package main.edu.reducer;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        Integer count = 0;
        for (IntWritable value : values) {
            //将每一个分组中的数据进行累加计数
            count += value.get();
        }
        //将最终结果进行输出
        context.write(key, new IntWritable(count));
    }
}

“CTRL+S”保存代码

WordCountMaster.java代码如下：

package main.edu;

import main.edu.mapper.WordCountMapper;
import main.edu.reducer.WordCountReducer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountMaster {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //初始化配置
        System.setProperty("hadoop.home.dir", "D:\\hadoop-2.10.1");
        Configuration conf = new Configuration();
        //初始化job参数，指定job名称
        Job job = Job.getInstance(conf, "WordCount");
        //设置运行job的类
        job.setJarByClass(WordCountMaster.class);
        //设置Mapper类
        job.setMapperClass(WordCountMapper.class);
        //设置Reducer类
        job.setReducerClass(WordCountReducer.class);
        //设置Map的输出数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //设置Reducer的输出数据类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        //设置输入的路径 //FileInputFormat.setInputPaths(job, new Path(Hadoop_Url+"input/wordCount"));
        // 设置输出的路径 //FileOutputFormat.setOutputPath(job, new Path(Hadoop_Url+"output/wordCount/1"));
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        //提交job
        boolean result = job.waitForCompletion(true);
        //执行成功后进行后续操作
        if (result) {
            System.out.println("Congratulations!");
        }
    }
}

“CTRL+S”保存代码

运行代码前需要一些准备工作，比如 /input目录要存在，并且要把相应的数据文件复制过去。

等待运行完成会发现项目目录下多了一个output文件夹， 打开里面的‘part-r-00000’文件就会发现里面是对你输入字符串的出现个数的统计。

当你第二次运行的时候因为hadoop不会自动删除output目录所以会出现错误，请手动删除之后再运行。

这样就可以使用intellij来开发hadoop程序并进行调试了。

 代码如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/hadoop-2.10.1/hadoop_tmp</value>
    </property>
</configuration>

修改WordCountMaster.java的代码

 WordCountMaster.java修改之后代码如下：

package main.edu;

import main.edu.mapper.WordCountMapper;
import main.edu.reducer.WordCountReducer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class WordCountMaster {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        //初始化配置
        System.setProperty("hadoop.home.dir", "D:\\hadoop-2.10.1");
        Configuration conf = new Configuration();
        //这里指定使用的是hdfs文件系统
        conf.set("fs.defaultFS", "hdfs://localhost:9000");
        //初始化job参数，指定job名称
        Job job = Job.getInstance(conf, "WordCount");
        //设置运行job的类
        job.setJarByClass(WordCountMaster.class);
        //设置Mapper类
        job.setMapperClass(WordCountMapper.class);
        //设置Reducer类
        job.setReducerClass(WordCountReducer.class);
        //设置Map的输出数据类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        //设置Reducer的输出数据类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        // 指定该mapreduce程序数据的输入和输出路径
        Path inputPath = new Path("/wordcount/input");
        Path outputPath = new Path("/wordcount/output");
        FileSystem fs = FileSystem.get(conf);
        if (fs.exists(outputPath)) {
            fs.delete(outputPath, true);
        }
        FileInputFormat.setInputPaths(job, inputPath);
        FileOutputFormat.setOutputPath(job, outputPath);
        //提交job
        boolean result = job.waitForCompletion(true);
        //执行成功后进行后续操作
        if (result) {
            System.out.println("Congratulations!");
        }
    }
}

打包jar

打包完成

用FileZilla把jar文件传输到虚拟机的/usr/hadoop/hadoop-2.10.1目录下

不会的可以看我之前写安装伪分布式Hadoop时把jdk和hadoop安装包传输到虚拟机的教程https://blog.csdn.net/qq_43008103/article/details/118668959

切换到hadoop用户，启动Hadoop服务

su hadoop
start-all.sh
mr-jobhistory-daemon.sh start historyserver

jps看一下启动成功没有

jps

在Hadoop的HDFS里创建个wordcount/input目录

hadoop fs -mkdir /wordcount
hadoop fs -mkdir /wordcount/input

我们把hadoop目录里的README.txt文件上传到HDFS里用作单词计数

cd /usr/hadoop/hadoop-2.10.1
hadoop fs -put README.txt /wordcount/input

运行jar

hadoop jar wordcount.jar wordcount

 成功长这样↓

查看HDFS里的wordcount目录，我们可以发现多了一个output目录

hadoop fs -ls /wordcount

查看output目录

hadoop fs -ls /wordcount/output

查看里面的‘part-r-00000’文件就会发现里面是对你输入字符串的出现个数的统计。

hadoop fs -cat /wordcount/output/part-r-00000

可以把output目录里的文件取回本地

hadoop fs -get /wordcount/output/* .

 

AaronChen23
关注
  • 5
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
IDEA打包MapReduce程序，jar在hdfs集群运行
ShaneHolmes
03-13 5650
大数据专栏 上一篇 主目录 下一篇 目录1 编写代码1.1 创建Maven项目1.2 添加依赖1.3 代码2 项目打包3 hdfs集群运行3.1 上传到Linux服务器3.2 在hadoop01执行jar 【前言】 Intellij IDEA打包MapReduce程序，并使用ja...
Java实现网络文件的下载
牛乃的博客
01-29 1829
非常简单的一个实现网络文件下载的Java模块 文件名，下载目录和下载地址已在注释中标注 import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.net.URLConnection; import java.net.URL; public class FileDownload { public static vo
如何把一个web网站做成一个window应用程序
博博客客
12-04 1万+
小扯一下 这个我在上家公司上班时，当时公司采用的技术结构，希望对有需要朋友有帮助。需求是客户需要一个窗口售票软件。之前为哪家客户提供软件的公司由于合同到期，不再提供服务。由于提供服务的公司可能由于资金断裂吧，快玩不下去了。就找到我们公司。让我们给他们提供技术支持以及开发新需求、升级系统等服务。但问题在于哪款软件是用C#开发的。而我们公司是开发微信公众号的，除了项目经理会C#没有其他C#程序员。而且...
超详细：Java 读取 Windows 共享文件夹中的文件，并下载到本地电脑中
SuZhan0711
10-01 6520
JCIFS 是使用纯 Java 开发的一个开源框架，通过 smb 协议访问远程文件夹。该框架同时支持 Windows 共享文件夹和 Linux 共享文件夹，不过，Linux 共享文件夹需要安装 Samba 服务软件。(官网：http://www.samba.org/)。
IDEA常用快捷键整理大全（非常详细）持续更新中...
热门推荐
林二月的博客
07-04 10万+
博主将用 CSDN 记录 Java 后端开发学习之路上的经验，并将自己整理的编程经验和知识分享出来，希望能帮助到有需要的小伙伴。博主也希望和一直在坚持努力学习的小伙伴们共勉！唯有努力钻研，多思考勤动手，方能在编程道路上行至所向。由于博主技术知识有限，博文中难免会有出错的地方，还望各位大佬包涵并批评指正，博主会及时改正；如果本文对小伙伴你有帮助的话，求求给博主一个赞支持一下，可以一起交流，一起加油！！进入界面，还可以自定义模板，设置你自己喜欢的快捷键，可以使开发更加高效；IDEA。
通过 IntelliJ IDEA 创建一个简易的Java工程并导入Jar包
05-26
在IT行业中，IntelliJ IDEA是一款非常流行的Java集成开发环境（IDE），以其高效能和强大的功能深受开发者喜爱。本文将详细介绍如何使用IntelliJ IDEA创建一个简单的Java工程，并且学会如何导入外部的Jar包。 首先，...
idea打包java程序(包含依赖的所有jar包)
08-19
在本篇文章中，我们将详细介绍如何使用Intellij Idea将Java程序打包，包括所有依赖的JAR包。下面是相关知识点的总结： 一、创建Artifacts配置 在Intellij Idea中，需要创建Artifacts配置来生成JAR文件。首先，需要...
在IntelliJ IDEA中创建和运行java/scala/spark程序的方法
08-19
主要介绍了在IntelliJ IDEA中创建和运行java/scala/spark程序的教程，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
在idea中将java项目中的单个类打包成jar包操作
09-07
在Java开发环境中，IDEA（IntelliJ IDEA）是一个广泛使用的集成开发环境，它提供了许多便利的功能，包括将Java项目中的单个类打包成JAR文件。JAR（Java Archive）文件是Java平台的标准归档格式，用于集合多个类文件...
如何用IntelliJ IDEA新建web项目,用maven打包成.jar
12-16
idea新建maven web项目.zip Jetbrains IntelliJ IDEA创建基于maven打包工具的WEB网站项目 本项目使用的是SSM框架spring mvc,spring, mybatis.用maven打包成jar
hadoop wordcount 打包部署
12-23
hadoop wordcount 打包部署
Idea跑的项目没问题将程序install成jar包运行报错空指针的问题
08-19
然而，在某些情况下，我们可能会遇到一个常见的问题：项目在IDEA中运行正常，但当将其打包成jar文件并尝试独立运行时，却出现空指针异常（NullPointerException）。这个问题通常涉及到类加载、依赖管理和资源访问等...
IntelliJIDEA运行你的第一个Java应用程序.pdf
03-11
在本文中，我们将深入探讨如何使用IntelliJ IDEA运行你的第一个Java应用程序。IntelliJ IDEA是一款强大的集成开发环境（IDE），特别适合Java开发者。要开始你的编程之旅，首先需要创建一个新的项目。 创建项目： 1....
IntelliJ IDEA使用教程创建Java 应用程序
07-19
在本教程中，我们将详细讲解如何使用IntelliJ IDEA来创建、运行和打包一个简单的Java应用程序。 首先，了解IDE的概念非常重要。IDE，即集成开发环境，为程序员提供了一个统一的平台，集成了代码编辑、调试、编译、...
IntelliJIDEA运行你的第一个Java应用程序.docx
03-11
在本文中，我们将深入探讨如何使用IntelliJ IDEA运行你的第一个Java应用程序。IntelliJ IDEA是一款强大的集成开发环境（IDE），特别适合Java开发者。要开始你的编程之旅，首先需要理解几个关键概念，如SDK、项目创建...
java打包jar,（集群中）运行mr进行wordcount的过程以及报错，以及历史服务器安装
weixin_53063015的博客
02-18 1302
java打包jar,运行mr进行wordcount的过程以及报错 在java中将写好的mapper，reducer，以及dirver打包放到集群上运行 在集群中运行可以将数据存放到hdfs中方便管理 提前配置——>编写好内容——>运行中一些报错的解决 使用的eclipse创建的maven项目中编写的mapper package com.bob.mr; import java.io.IOException; import org.apache.hadoop.io.IntWritable; impo
关于IDEA打包JAR上传到Hadoop集群运行出现ClassNotFound的问题
weixin_43540084的博客
08-18 1238
复现尚硅谷大数据电信客服项目到数据分析的时候，发现无论怎么改变IDEA或者maven的打包方式、添加依赖jar，hadoop集群始终无法在运行项目的时候加载出来打包时候的其他第三方依赖，总会出现部分类的class not found exception（我尽力了也许是我不熟悉IDEA或者maven到底应该是怎么打包的）。...
windows下开发mapreduce程序，打包在linux hadoop集群执行过程
技术成就梦想，梦想成就未来。If you try hard enough, it can be.
05-31 2464
假设mapreduce程序已经写好，主类名称是com.wc.WordCount 下面开始演示。 1、右键项目，点击export 2、在export界面选择java jar 3、输入文件名，点击finish 4、上传到hadoop集群namenode节点上 5、使用hadoop jar命令进行执行 命令格式：hadoop jar jarFileName mainClass ...
MapReduce初级编程实践
wr456wr的博客
06-03 3182
实验内容 使用Java编程一个WordCount程序，并将该程序打包成Jar包在虚拟机内执行 编程实现文件合并和去重操作 编程实现对输入文件的排序 对给定的表格进行信息挖掘 参考资料
在Linux系统中安装IntelliJ IDEA，然后使用IntelliJ IDEA工具开发WordCount程序， 并打包成JAR文件，提交到Flink中运行。
最新发布
06-08
在Linux系统中安装IntelliJ IDEA的步骤如下： 1. 下载IntelliJ IDEA安装包，可以在官网上下载，也可以使用命令行下载。下载命令如下： ```shell wget https://download.jetbrains.com/idea/ideaIC-2021.2.2.tar.gz ``` 2. 解压安装包，命令如下： ```shell tar -zxvf ideaIC-2021.2.2.tar.gz ``` 3. 进入解压后的目录，运行bin目录下的idea.sh文件启动IntelliJ IDEA。 WordCount程序是Flink中的经典案例，使用IntelliJ IDEA工具开发WordCount程序的步骤如下： 1. 新建一个Java项目，并添加Flink依赖。 2. 在src/main/java目录下新建一个WordCount.java文件。 3. 在WordCount.java文件中编写WordCount程序的代码。 4. 点击菜单栏的“Build”->“Build Artifacts”，选择“jar”，生成JAR文件。 5. 将生成的JAR文件提交到Flink中运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值