Ubuntu中实现mapreduce编程

最新推荐文章于 2024-05-16 15:46:43 发布
最新推荐文章于 2024-05-16 15:46:43 发布
阅读量2.1k 收藏 24
点赞数 2
分类专栏： 大数据运用 文章标签： hadoop mapreduce ubuntu 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44692890/article/details/119537565
版权

文章目录

注意：在写本文前，已经完成了三台机的Hadoop集群，desktop机已经配好了网络、yum源、关闭了防火墙等操作，详细请看本专栏第一、二篇

部署eclipse

1、创建hadoop用户

root@ddai-desktop:~# groupadd -g 285 hadoop
root@ddai-desktop:~# useradd -u 285 -g 285 -m -s /bin/bash hadoop
root@ddai-desktop:~# passwd hadoop
New password: 
Retype new password: 
passwd: password updated successfully
root@ddai-desktop:~# gpasswd -a hadoop sudo
Adding user hadoop to group sudo

2、配置文件

root@ddai-desktop:~# vim /home/hadoop/.profile 

#添加，因暂时不会用到其他的，这里不加，后文会慢慢增加
export JAVA_HOME=/opt/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/opt/hadoop-2.8.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

在这里插入图片描述

3、上传eclipse压缩包到/root目录

用rz命令上传时可能会出现Waiting for cache lock: Could not get lock /var/lib/dpkg/lock-frontend. It is he
下面会出现process的进程，把它kill就行了
在这里插入图片描述

在这里插入图片描述

4、解压eclipse压缩包到/opt目录

root@ddai-desktop:~# cd /opt/
root@ddai-desktop:/opt# tar xzvf /root/eclipse-java-2020-06-R-linux-gtk-x86_64.tar.gz

5、上传hadoop-eclipse jar包

传到eclipse下面的plugins目录下（可以直接上传到plugins，也可以后期移过去）

root@ddai-desktop:~# cp hadoop-eclipse-plugin-2.7.2.jar /opt/eclipse/plugins/

在这里插入图片描述

6、安装JAVA

（办法1：自己安装；办法2：从Master节点复制JDK过来）
这里采取从master复制
需要对desktop做一次免密处理

hadoop@ddai-master:~$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub ddai-desktop

在这里插入图片描述

7、从ddai-master节点复制hadoop和jdk到ddai-desktop

root@ddai-desktop:~# scp -r hadoop@ddai-master:/opt/* /opt/

在这里插入图片描述

修改文件属性

root@ddai-desktop:~# chown -R hadoop:hadoop /opt/

在这里插入图片描述

root@ddai-desktop:~# source /home/hadoop/.profile #让环境生效

8、运行eclipse

解决bug ignoring option PermSize=512m; support was removed in 8.0

其实我的问题主要是当时没有转换用户，我刚开始是以ddai-desktop用户登录的，然后su命令进行切换，此时的Hadoop是我用su命令切换来的，所有这样是没有权限的，要重新登录，以Hadoop用户登进去就行了，不存在它提示的那么复杂
在这里插入图片描述

reboot重启进入hadoop用户
在这里插入图片描述
在这里插入图片描述
把目录修改成workspace

9、检查mapreduce平台是否成功搭建

在这里插入图片描述
出现了这个选项表明插件安装成功
在这里插入图片描述
在file点击new project，出现了此选项也表明安装成功
在这里插入图片描述

词频统计实例

要先开启hadoop集群

1、建立两个有内容的文档

hadoop@ddai-desktop:~$ vim a1.txt
hadoop@ddai-desktop:~$ vim a2.txt
hadoop@ddai-desktop:~$ more a1.txt 
Happiness is a way station between too much and too little.
hadoop@ddai-desktop:~$ more a2.txt 
You may be out of my sight, but never out of my mind.

2、创建目录并上传数据

hadoop@ddai-desktop:~$ hdfs dfs -mkdir /test
hadoop@ddai-desktop:~$ hdfs dfs -put a*.txt /test

在这里插入图片描述

3、运行词频统计

注意：运行后的输出目录out1今后不能再使用，一个输出目录对应一个结果，除非把它删除，一个input只能存在最高需要运行的项目的文件，不能留其他东西，不然运行不出结果

adoop@ddai-desktop:~$ cd /opt/hadoop-2.8.5/share/hadoop/mapreduce/
hadoop@ddai-desktop:/opt/hadoop-2.8.5/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.8.5.jar wordcount /test /out1    

#输出结果
21/08/10 10:58:49 INFO client.RMProxy: Connecting to ResourceManager at ddai-master/172.25.0.10:8032
21/08/10 10:58:50 INFO input.FileInputFormat: Total input files to process : 2
21/08/10 10:58:50 INFO mapreduce.JobSubmitter: number of splits:2
21/08/10 10:58:50 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1628563656760_0001
21/08/10 10:58:51 INFO impl.YarnClientImpl: Submitted application application_1628563656760_0001
21/08/10 10:58:51 INFO mapreduce.Job: The url to track the job: http://ddai-master:8088/proxy/application_1628563656760_0001/
21/08/10 10:58:51 INFO mapreduce.Job: Running job: job_1628563656760_0001
21/08/10 10:59:03 INFO mapreduce.Job: Job job_1628563656760_0001 running in uber mode : false
21/08/10 10:59:03 INFO mapreduce.Job:  map 0% reduce 0%
21/08/10 10:59:16 INFO mapreduce.Job:  map 100% reduce 0%
21/08/10 10:59:22 INFO mapreduce.Job:  map 100% reduce 100%
21/08/10 10:59:23 INFO mapreduce.Job: Job job_1628563656760_0001 completed successfully
21/08/10 10:59:23 INFO mapreduce.Job: Counters: 50
	File System Counters
		FILE: Number of bytes read=226
		FILE: Number of bytes written=474853
		FILE: Number of read operations=0
		FILE: Number of large read operations=0
		FILE: Number of write operations=0
		HDFS: Number of bytes read=314
		HDFS: Number of bytes written=140
		HDFS: Number of read operations=9
		HDFS: Number of large read operations=0
		HDFS: Number of write operations=2
	Job Counters 
		Killed map tasks=1
		Launched map tasks=2
		Launched reduce tasks=1
		Data-local map tasks=2
		Total time spent by all maps in occupied slots (ms)=22182
		Total time spent by all reduces in occupied slots (ms)=2871
		Total time spent by all map tasks (ms)=22182
		Total time spent by all reduce tasks (ms)=2871
		Total vcore-milliseconds taken by all map tasks=22182
		Total vcore-milliseconds taken by all reduce tasks=2871
		Total megabyte-milliseconds taken by all map tasks=22714368
		Total megabyte-milliseconds taken by all reduce tasks=2939904
	Map-Reduce Framework
		Map input records=2
		Map output records=24
		Map output bytes=210
		Map output materialized bytes=232
		Input split bytes=200
		Combine input records=24
		Combine output records=20
		Reduce input groups=20
		Reduce shuffle bytes=232
		Reduce input records=20
		Reduce output records=20
		Spilled Records=40
		Shuffled Maps =2
		Failed Shuffles=0
		Merged Map outputs=2
		GC time elapsed (ms)=878
		CPU time spent (ms)=7150
		Physical memory (bytes) snapshot=707117056
		Virtual memory (bytes) snapshot=5784072192
		Total committed heap usage (bytes)=473432064
	Shuffle Errors
		BAD_ID=0
		CONNECTION=0
		IO_ERROR=0
		WRONG_LENGTH=0
		WRONG_MAP=0
		WRONG_REDUCE=0
	File Input Format Counters 
		Bytes Read=114
	File Output Format Counters 
		Bytes Written=140

4、查看统计结果

hadoop@ddai-desktop:~$ hdfs dfs -text /out1/part-r-00000

在这里插入图片描述

编写词频统计程序

创建项目

运行eclipse，选择菜单栏的“File”→“New”→“Other…”菜单项，选择“Map/Reduce Project”
在这里插入图片描述
输入项目名“WordCount”，选择“Configure Hadoop install directory…”
在这里插入图片描述
选择Hadoop安装目录，直接输入“/opt/hadoop-2.7.3”或者单击“Browse…”进行选择
在这里插入图片描述
点击finish，进入项目

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建WordCount.class，输入代码


import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
  public static class TokenizerMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  public static class IntSumReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length < 2) {
      System.err.println("Usage: wordcount <in> [<in>...] <out>");
      System.exit(2);
    }
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    for (int i = 0; i < otherArgs.length - 1; ++i) {
      FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
    }
    FileOutputFormat.setOutputPath(job,
      new Path(otherArgs[otherArgs.length - 1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

在这里插入图片描述
在这里插入图片描述

hadoop@ddai-desktop:~$ hdfs dfs -mkdir /input
hadoop@ddai-desktop:~$ hdfs dfs -put a*.txt /input

运行
在这里插入图片描述

气象报告分析

下载气象数据文件到hadoop用户下
在这里插入图片描述
编写脚本，查找这两年的最高温度

hadoop@ddai-desktop:~$ vim max_temp.sh

#脚本
for year in 19*
do
        echo -n $year "\t"
        cat $year | \
                awk '{temp=substr($0,88,5)+0;
                        q=substr($0,93,1);
                if(temp!=9999 && q ~ /[01459]/ && temp > max) max=temp}
                END {print max}'
        done

在这里插入图片描述

编写代码实现

建立一个MaxTemp项目，并选择hadoop的路径
在这里插入图片描述

创建一个类
在这里插入图片描述
编写代码

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class MaxTemp {
  public static class TempMapper 
       extends Mapper<Object, Text, Text, IntWritable>{
    private static int MISSING = 9999;
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      String line = value.toString();
      String year = line.substring(15,19);//日期在15-19位
      int airTemperature;
      if (line.charAt(87) == '+') { // 判断正负号
        airTemperature = Integer.parseInt(line.substring(88, 92));
      } else {
        airTemperature = Integer.parseInt(line.substring(87, 92));
      }
      String quality = line.substring(92, 93); //质量代码
      if (airTemperature != MISSING && quality.matches("[01459]")) {
        context.write(new Text(year), new IntWritable(airTemperature));
      }
    }
  }
  public static class TempReducer 
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values, 
                       Context context
                       ) throws IOException, InterruptedException {
      int maxValue = Integer.MIN_VALUE;
      for (IntWritable value : values) {
        maxValue = Math.max(maxValue, value.get());
      }
      context.write(key, new IntWritable(maxValue));
    }
  }
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    if (otherArgs.length < 2) {
      System.err.println("Usage: MaxTemp <in> [<in>...] <out>");
      System.exit(2);
    }
    Job job = Job.getInstance(conf, "Max Temperature");
    job.setJarByClass(MaxTemp.class);
    job.setMapperClass(TempMapper.class);
    job.setCombinerClass(TempReducer.class);
    job.setReducerClass(TempReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    for (int i = 0; i < otherArgs.length - 1; ++i) {
      FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
    }
    FileOutputFormat.setOutputPath(job,
      new Path(otherArgs[otherArgs.length - 1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

hadoop@ddai-desktop:~$ hdfs dfs -put 19* /input
hadoop@ddai-desktop:~$ hdfs dfs -ls /input

需要把无关的文件删掉，不然无法统计
在这里插入图片描述

在这里插入图片描述
查看结果
在这里插入图片描述

侬本多情。
关注
  • 2
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
ubuntu上配置好hadoop后，运行MapReduce
网络工程专业本科生
05-18 1167
ubuntu上配置好hadoop环境后，运行官网MapReduce教程。
Ubuntu的安装至文件MapReduce处理
weixin_48078204的博客
12-17 830
一、在Windows中使用VirtualBox安装Ubuntu 1.安装前的准备 （1）打开VirtualBox，点击“创建”按钮，创建一个虚拟机 给虚拟机命名，选择操作系统，版本 如果您选择的系统是32位Ubuntu,那么版本请选择“Ubuntu (32 bit)” 如果您选择的系统是64位Ubuntu,那么版本请选择“Ubuntu (64 bit)” 如果界面中有“文件夹”选项，则在“文件夹”后面可以设置为本地磁盘目录，比如“D:\”。 （2）选择内存大小
云计算与大数据实验五 MapReduce编程
qq_64314976的博客
12-31 3399
函数的输入键，输入值，和输出键，输出值的类型。就第一关的例子来说，输入键是一个长整型，输入值是一行文本，输出键是单词，输出值是单词出现的次数。程序会对你编写的代码进行测试： 输入已经指定了测试文本数据：需要你的程序输出合并去重后的结果。是一种可用于数据处理的编程模型，我们现在设想一个场景，你接到一个任务，任务是：挖掘分析我国气象中心近年来的数据日志，该数据日志大小有。方法提交代码并等待执行，该方法唯一的参数是一个布尔类型的值，当该值为。程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件。
大数据技术Hadoop -- MapReduce初级编程实践
七七四十九的博客
05-16 1672
现在有多个输入文件，每个文件中的每行内容均为一个整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数。对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。
大数据实践（四）MapReduce编程实践（Ubuntu)
cgl_dong的博客
06-06 1296
大数据实验（四）MapReduce编程实践（Ubuntu) 前置工具及环境 Ubuntu 16.4 VirtualBox Hadoop 2.7.3 jdk1.8 一、MapReduce简介 MapReduce是Hadoop提供的一个分布式计算框架，MapReduce 作业通过将输入的数据集拆分为独立的块，这些块由 map 以并行的方式处理，框架对 map 的输出进行排序，然后输入到 reduce 中。MapReduce 框架专门用于 <key，value> 键值对处理，它将作业的输入视为一组
大数据实战 Linux Ubuntu 20.04.1 搭建MapReduce平台
qq_740785701的博客
10-18 1592
1.目标 1.1 在图形窗口运行 1.2 完成Eclipse及插件安装 1.3 JDK安装 2.前期准备 2.1 装系统 详细请点击这里 2.1.1 2.2 节点创建用户 2.2.1 创建组 （可以在bass普通用户下操作，可以在root用户下操作。若在bass需要提高权限sudo，root用户则不用。） $ sudo useradd -u 285 -g 285 -m -s /bin/bash angel 用户号为285，用户组号为285，用户名为angel。 2.2.2 设置angel用户组及其密码 s
[Hadoop入门] - 1 Ubuntu系统 Hadoop介绍 MapReduce编程思想
weixin_34257076的博客
03-12 85
Ubuntu系统 (我用到版本号是140.4) ubuntu系统是一个以桌面应用为主的Linux操作系统，Ubuntu基于Debian发行版和GNOME桌面环境。Ubuntu的目标在于为一般用户提供一个最新的、同时又相当稳定的主要由自由软件构建而成的操作系统，它可免费使用，并带有社团及专业的支持应。 作为Hadoop大数据开发测试环境， 建议大家不要在windows上安装CgyWin来学习或研...
Mapreduce的基础搭建以及Java API编程
06-23
MapReduce是大数据处理领域中的一个核心框架，由Apache Hadoop项目提供，主要用于处理和存储海量数据。本篇文章将深入探讨MapReduce的基础搭建以及Hadoop完全分布式配置，涉及多个相关技术、软件及其架构搭建过程。 ...
大数据MapReduce Ubuntu Linux上的Hadoop Scala by Maven intellj Idea
04-11
8. **wordcountSample.zip**：这可能是一个示例项目，用于演示如何在Hadoop MapReduce中实现简单的单词计数程序。这是一个经典的入门例子，用于统计文本文件中每个单词出现的次数。 在实际操作中，首先，你需要在...
mapreduce基础实战.doc
最新发布
05-23
4. **实战演练**：通过实际的案例来学习MapReduce编程，如词频统计任务、成绩统计、文件内容合并去重等。 5. **工具使用**：掌握如何使用Hadoop Streaming和Pig等工具来进行数据处理，这些工具可以帮助简化MapReduce...
林子雨大数据编程课程实验答案
01-16
本资源提供了林子雨大数据编程课程实验答案，涵盖了大数据基础编程、实验和案例教程（第 2 版）中的八个实验。 实验一：熟悉常用的 Linux 操作和 Hadoop 操作 * 实验目的：Hadoop 运行在 Linux 系统上，因此，需要...
Ubuntu安装Hadoop实现MapReduce里的WordCount
08-28
Ubuntu环境下新手学习Hadoop，从配置Hadoop开始，实现mapreduce，过程详细，也是自己学习过程的一个记录。
两台 Ubuntu 机器实现 Hadoop 集群
03-19
标题中的“两台 Ubuntu 机器实现 Hadoop 集群”指的是在两台运行 Ubuntu 操作系统的计算机上搭建一个 Hadoop 分布式计算环境。Hadoop 是一个由 Apache 基金会开发的开源框架，主要用于处理和存储大量数据。它基于 ...
在Ubuntu上用mapreduce进行词频统计（伪分布式）
weixin_66547608的博客
04-15 855
hadoop最简单的应用最基础的词频统计，新手小白闭眼如，希望可以帮助你
Ubuntu下Hadoop MapReduce集群搭建以及程序运行
James Zhang's Blog
02-19 2986
记得上学期有门课程就是MapReduce,在顺利通过之后，还是决定好好整理一下，方便日后用到，同时也能跟大家分享交流一下。以下就是ubuntu下Hadoop MapReduce集群环境搭建以及程序运行的全部流程。
Ubuntu16.04配置HA的MapReduce
ZZHMMD957
10-27 347
这里的配置和上次的hdfs的HA版差不多，主要配置两个文件，yarn-site.xml和mapred-site.xml 1)yarn-site.xml: yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-
Ubuntu上Hadoop Mapreduce集群搭建以及程序运行
weixin_34177064的博客
01-20 297
2019独角兽企业重金招聘Python工程师标准>>> ...
大数据hadoop学习【12】-----基于ubuntu16.04上hadoop中的MapReduce编程实践
qq_42451251的博客
04-23 3350
大数据hadoop学习【12】-----基于ubuntu16.04上hadoop中的MapReduce编程实践目录一、MapReduce简介1、MapReduce的定义2、MapReduce的用途3、MapReduce的主要功能二、通过MapReduce进行词频统计1、文件词频内容准备2、在Eclipse中创建MapReduce工程项目3、为MapReduce项目添加需要的JAR包4、 编写用于词...
pycharm实现mapreduce编程实例代码
11-12
很抱歉，根据提供的引用内容，无法回答关于PyCharm实现MapReduce编程实例代码的问题。提供的引用内容只是提到了如何使用Python编写一个简单的MapReduce程序以及在运行MapReduce job测试前尝试手工测试mapper.py和reducer.py脚本。如果您有更具体的问题或者提供更多的信息，我将非常乐意为您提供帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

侬本多情。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值