Hadoop | 基于Java语言的MapReduce操作案例 | 词频统计

最新推荐文章于 2024-05-01 10:46:04 发布
VIP文章 最新推荐文章于 2024-05-01 10:46:04 发布
阅读量892 收藏 17
点赞数
分类专栏： # 大数据原理与应用 文章标签： hadoop mapreduce
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Unirithe/article/details/116564018
版权

文章目录

运行环境

Ubuntu 16.04
Hadoop3.1.3
Jdk8
Eclipse 3.8.0
Hadoop伪分布式环境

1. 启动Hadoop集群

$ start-all.sh

检查hdfs是否启动成功

$ hdfs dfs -ls /

2. 用eclipse创建java程序，导入jar包

导入相关的jar包：
hadoop/share/hadoop/common/*.jar
hadoop/share/hadoop/mapreduce/*.jar
hadoop/share/hadoop/common/lib
在这里插入图片描述

在这里插入图片描述

配置eclipse的字体界面，便于代码编写
在这里插入图片描述
在这里插入图片描述
修改工作空间workplace的默认jdk版本

由于eclipse版本问题，每次创建的项目默认jdk为1.4，现对其进行设置，配置成统一的jdk版本，最高的为1.7，操作步骤如下图所示。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.1 编写Java程序并编译运行：

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.
最低0.47元/天 解锁文章
「已注销」
关注
  • 0
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Java跨平台实现Mapreduce词频统计
李文彬的博客
04-04 2517
本文将演示通过JavaAPI在Hadoop集群上使用Mapreduce进行词频统计的简易过程： 创建Maven项目并本地编写Java代码 将要处理的数据上传至Hadoop系统 将Maven项目打包成jar包并上传至服务器运行 系统：Win10，CentOS 7.6 软件：Maven 3.8.4，Hadoop 2.7.3，Xshell，Xftp 1.创建Maven项目并本地编写Java代码 初始化Maven项目 首先创建一个新的Maven项目，此时文件结构应该类似于： 此时将pom.xml文件的内容全部
词频统计【java、mappereduce、hadoop】
qq_46924416的博客
12-15 567
import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.ap
HadoopMapReduce原理及实例
02-25
MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。MapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和value的类型可以自行指定。map阶段对切分好的数据进行并行处理，处理结果传输给reduce，由reduce函数完成最后的汇总。例如从大量历史数据中找出往年最高气温，NCDC公开了过去每一年的所有气温等天气数据的检测，每一行记录一条观测记录，格式如下：为了使用MapReduce找出历史上每年的最高温度，我们将行数作为map输入的key，每一行的文本作为map输入的value：上图中粗
Hadoop Mapreduce Java操作实例
admin1973的专栏
03-10 4894
Mapreduce简介: http://blog.csdn.net/admin1973/article/details/60956943 部分内容转载自: http://my.oschina.net/itblog/blog/275294 分析MapReduce执行过程     MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，
hadoop系列三:mapreduce的使用(一)
weixin_30532837的博客
07-30 194
转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/7224772.html 一：说明 此为大数据系列的一些博文，有空的话会陆续更新，包含大数据的一些内容，如hadoop,spark,storm,机器学习等。 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列二：HDFS文件系统的命令及JAVA...
大数据 hadoop mapreduce 词频统计
10-23
在hadoop平台上，用mapreduce编程实现大数据的词频统计
【Hadoop】MapReduce案例——词频统计
啥也不会~
04-21 3634
MapReduce案例——词频统计
eclipse连接Hadoop并实现词频统计（大数据分析）
m0_46526335的博客
03-21 7441
Ubuntu系统内实现eclipse连接Hadoop远程操作并完成词频统计实例
Hadoop集群（WordCount）词频统计 MapReduce 词频统计 MapReduce案例 Linux
10-28
文章链接：http://t.csdnimg.cn/Ia8zW Hadoop MapReduce程序，用于实现词频统计任务。通过Hadoop集群来处理大量的文本数据
基于hadoop的词频统计.docx
06-18
基于hadoop的词频统计，通过空格作为词频切分，简单统计了哈姆雷特节选的词频数量。
基于hadoop+MapReduce+Java大数据清洗和分析的基本操作流程.zip
02-22
（1）MapReduce 基本操作 源代码编写、Java 基本语法。 （2）重写 mapper 中的 setup 方法，实现数据从 job 缓存中的调用读取。 （3）对于大数据清洗和分析的基本操作流程 清洗不符合规范的数据以及不需要采用的特殊...
word2vecjava源码-FBDP-project2:中文文本挖掘|舆情分析|Hadoop|Java|MapReduce
06-05
对样本集三个情感标签下的词组分别进行词频统计 文本向量化 分别对样本集和测试集中的词组计算tf-idf值 为了方便后续处理，将tf-idf值*10000进行扩大 根据一个词和对应的tf-idf值将文本转化成向量数组 特征选择 根据...
【Hadoop---10】MapReduce：map阶段与reduce阶段「用一个统计词频的案例体会map与reduce」
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-03 861
1. Hadoop的类型与Java类型的映射 2. 基于Hadoop使用Java实现词频统计 第一步：确定 Map、Reduce 逻辑 第二步：编写Map逻辑 第三步：编写Reduce逻辑 第四步：编写Drive逻辑 第五步：运行程序得到结果 方式一：本地运行【常用于测试阶段】 方式二：在集群环境中运行【常用于实际情况】
hadoop之MapReduce简介
cxzaiwyy的博客
02-06 3615
hadoop之MapReduce的一些简介，架构和分析
Hadoop（四）MapReduce
ks_1998的博客
03-08 2603
Hadoop（四）MapReduce
大数据技术——MapReduce词频统计
qq_53810638的博客
02-08 5698
注：参考林子雨老师教程，具体请见 MapReduce编程实践(Hadoop3.1.3)_厦大数据库实验室博客 一.实验目的 1.理解Hadoop中MapReduce模块的处理逻辑｡ 2.熟悉MapReduce编程｡ 二.实验内容 1.新建文件夹input,并在其中创建三个指定文件名的文本文件,并将特定内容存入三个文本｡ 2.启动Hadoop伪分布/全分布模式式,将input文件夹上传到HDFS上｡ 3.编写MapReduce程序,实现单词出现次数统计｡统计结果保存到hdfs的output文件
hadoop案例java代码实现
s_pr1te的博客
04-14 2434
今天手写一个hadoop的案例: 需求:找出每个月气温最高的2天 思路: 记录特点 每年 每个月 最高 2天 1天多条记录？ 进一步思考 年月分组 温度升序 key中要包含时间和温度！ MR原语：相同的key分到一组 通过GroupCompartor设置分组规则 自定义数据类型Weather 包含时间 包含温度 自定义排序比较规则 自定义分组比较 年月相同被视为相同的key 那么reduce迭代...
Hadoop 之Mapreduce wordcount词频统计案例
Dangerous的博客
08-05 7887
首先我们来看一张描述MapReduce运行过程的图。 首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping：把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing：对每个节点的word进行统计。 以上就是简单的Mapreduce作业过程。下面看下官网的介绍： A MapReduce job ...
hadoop学习---基于Hive的航空公司客户价值的LRFCM模型案例
最新发布
weixin_46164667的博客
05-01 2122
在客户分类中，RFM模型是一个经典的分类模型，模型利用通用交易环节中最核心的三个维度——最近消费(Recency)、消费频率(Frequency)、消费金额(Monetary)细分客户群体，从而分析不同群体的客户价值。在某些商业形态中，客户与企业产生连接的核心指标会因产品特性而改变。如互联网产品中，以上三项指标可以相应地变为下图中的三项：最近一次登录、登录频率、在线时长。
Java编写基于Hadoop的mapreduce的汽车销售数据统计
05-30
好的，我可以帮你回答这个问题。 首先，你需要准备一些数据，例如汽车销售数据，格式可以是CSV或者其他格式。然后，你需要使用Java编写基于Hadoop的MapReduce程序，实现对这些数据的统计分析。 下面是一个简单的MapReduce程序的示例，用于统计汽车销售数据中不同品牌的销售数量： ```java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class CarSalesStats { public static class CarSalesMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text brand = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split(","); brand.set(fields[0]); context.write(brand, one); } } public static class CarSalesReducer extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Car Sales Stats"); job.setJarByClass(CarSalesStats.class); job.setMapperClass(CarSalesMapper.class); job.setReducerClass(CarSalesReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 在这个示例程序中，我们定义了一个`CarSalesMapper`类，用于将输入的CSV文件中每一行的第一个字段（汽车品牌）作为键，将值设为1，表示销售数量为1。然后，我们定义了一个`CarSalesReducer`类，用于对每个品牌的销售数量进行累加求和。最后，在`main`函数中，我们配置了Hadoop作业的输入输出路径，并启动了该作业。 你可以根据自己的需求修改这个示例程序，例如，如果你需要统计不同地区的销售数量，可以将`CarSalesMapper`类中的`brand`变量改为地区的名称，并修改相应的输出格式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值