09-Hadoop编程

最新推荐文章于 2024-06-28 23:31:29 发布
最新推荐文章于 2024-06-28 23:31:29 发布
阅读量181 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 mapreduce 推荐系统 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43555997/article/details/104317244
版权
本文介绍了Hadoop编程，包括MapReduce案例分析，如WordCount、PageRank和TF-IDF算法实现，以及协同过滤推荐系统中的ItemCF。通过实例展示了Hadoop MapReduce的工作流程和源码解析。
摘要由CSDN通过智能技术生成

Hadoop编程

Hadoop思维导图下载链接

实例

/opt/sxt/hadoop-2.6.5/share/hadoop/mapreduce/

jar包

  • hadoop-mapreduce-examples-2.6.5.ja

准备

  • for i in seq 100000;do echo “hello sxt $i” >> test.txt;done
  • hdfs dfs -mkdir -p /user/root
  • hdfs dfs -ls -R /
  • hdfs dfs -D dfs.blocksize=1048576 -put ./test.txt /user/root

命令

  • hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount /input /output

    • wordcount为主程序
    • *input:是hdfs文件系统中数据所在的目录
    • *ouput:是hdfs中不存在的目录，mr程序运行的结果会输出到该目录（输出路径不允许放东西）

讲解

  • 以下是输出目录的内容：

  • -rw-r–r-- 3 root supergroup 0 2017-07-02 02:49 /mr/test/output/_SUCCESS/

    • /_SUCCESS：是信号/标志文件

  • -rw-r–r-- 3 root supergroup 49 2017-07-02 02:49 /mr/test/output/part-r-00000

    • /part-r-00000：是reduce输出的数据文件，r：reduce的意思，00000是对应的reduce

  • 多个reduce会有多个数据文件

WordCount案例

启动

  • zkServer.sh start
  • start.dfs.sh
  • yarn-daemon.sh start resourcemanager
  • start-yarn.sh

WordCount

  • MyWC

    • package com.sxt.mr.wc;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class MyWC { 

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {

    Configuration conf = new Configuration();
    //Create a new job
    Job job = Job.getInstance(conf);
    //要打成jar包的入口函数
    job.setJarByClass(MyWC.class);

    //Specify various job-specific parameters
    //定义job名称
    job.setJobName("myjob");

    //定义输入路径
    Path inPath = new Path("/user/root/test.txt");
    FileInputFormat.addInputPath(job, inPath);

    //定义输出路径（不允许放东西）
    Path outPath = new Path("/output/wordcount");
    //有则删除
    if (outPath.getFileSystem(conf).exists(outPath)) {
        outPath.getFileSystem(conf).delete(outPath, true);
    }
    FileOutputFormat.setOutputPath(job, outPath);


    job.setMapperClass(MyMapper.class);
    job.setMapOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    job.setReducerClass(MyReducer.class);

    //Submit the job,then poll for progress until the job is complete
    //提交job作业
    job.waitForCompletion(true);


}

}

  • MyMapper

    • package com.sxt.mr.wc;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.StringTokenizer;

public class MyMapper extends Mapper<Object, Text, Text, IntWritable> {
private final static IntWritable one = new IntWritable(1);
private Text word = new Text();

@Override
public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
    StringTokenizer itr = new StringTokenizer(value.toString());      //hello **
    while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
    }

}

}

  • MyReducer

    • package com.sxt.mr.wc;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

public class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> { 

//迭代计算
private IntWritable result = new IntWritable();

@Override
public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    int sum = 0;
    for (IntWritable val : values) {
        sum += val.get();
    }
    result.set(sum);
    context.write(key, result);

}

}

源码分析

Mapreduce案例

案例一

  • MyTQ

    • package com.bjsxt.tq;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

/*
*1949-10-01 14:21:02 34c
*

  • */
    public class MyTQ {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { 

     //1.配置
 Configuration conf = new Configuration();
 Job job = Job.getInstance(conf);

 job.setJarByClass(MyTQ.class);
 job.setJobName("tq");

 //2.设置输入输出路径
 Path inPath = new Path("/tq/input");
 FileInputFormat.addInputPath(job, inPath);
 Path outPath = new Path("/tq/output");
 if (outPath.getFileSystem(conf).exists(outPath)) {
     outPath.getFileSystem(conf).delete(outPath, true);
 }
 FileOutputFormat.setOutputPath(job, outPath);

 //3.设置Mapper
 job.setMapperClass(Tmapper.class);//自定义传输key
 job.setMapOutputKeyClass(Tq.class);
 job.setOutputValueClass(IntWritable.class);

 //4.自定义排序比较器
 job.setSortComparatorClass(TSortComparator.class);

 //5.自定义分区器
 job.setPartitionerClass(TPartitoner.class);

 //6. 自定义组排序器
 job.setGroupingComparatorClass(TGroupComparator.class);

 //7.设置reducetask数量
 job.setNumReduceTasks(2);

 //8.设置reducer
 job.setReducerClass(Treducer.class);

 //9.打印过程
 job.waitForCompletion(true);

    }
    }

  • TGroupComparator

    • package com.bjsxt.tq;

import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

public class TGroupComparator extends WritableComparator {
Tq t1 = null;
Tq t2 = null;

public TGroupComparator() {
    super(Tq.class, true);
}


@Override
public int compare(WritableComparable a, WritableComparable b) {
    t1 = (Tq) a;
    t2 = (Tq) b;

    int c1 = Integer.compare(t1.getYear(), t2.getYear());
    if (c1 == 0) {
        return Integer.compare(t1.getMonth(), t2.getMonth());


    }

    return c1;

}

}

  • Tmapper

    • package com.bjsxt.tq;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Calendar;
import java.util.Date;

public class Tmapper extends Mapper<LongWritable, Text, Tq, IntWritable> {
Tq tkey = new Tq();
IntWritable tval = new IntWritable();

public void map(Object key, Text value, Context context) throws IOException, InterruptedException {

    //获得时间、温度数组
    String[] words = StringUtils.split(value.toString(), '\t');
    String pattern = "yyyy-MM-dd";
    SimpleDateFormat sdf = new SimpleDateFormat(pattern);
    try {
        Date date = sdf.parse(words[0]);
        Calendar cal = Calendar.getInstance();
        cal.setTime(date);

        tkey.setYear(cal.get(Calendar.YEAR));
        tkey.setMonth(cal.get(Calendar.MONTH) + 1);
        tkey.setDay(cal.get(Calendar.DAY_OF_MONTH));
        int wd = Integer.parseInt(words[1].substring(0, words[1].lastIndexOf("c")));
        tkey.setWd(wd);

        tval.set(wd);
        context.write(tkey, tval);

    } catch (ParseException e) {
        e.printStackTrace();
    }


}

}

  • TPartitoner

    • package com.bjsxt.tq;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Partitioner;

public class TPartitoner extends Partitioner<Tq, IntWritable> { 

@Override
public int getPartition(Tq key, IntWritable value, int i) {
    return key.getYear() % i;
}

}

  • Tq

    • package com.bjsxt.tq;

import org.apache.hadoop.io.WritableComparable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

public class Tq implements WritableComparable { 

private int year;
private int month;
private int day;
private int wd;

public int getYear() {
    return year;
}

public void setYear(int year) {
    this.year = year;
}

public int getMonth() {
    return month;
}

public void setMonth(int month) {
    this.month = month;
}

public int getDay() {
    return day;
}

public void setDay(int day) {
    this.day = day;
}

public int getWd() {
    return wd;
}

public void setWd(int wd) {
    this.wd = wd;
}

@Override
public String toString() {
    return year + "-" + month + "-" + day;
}

@Override
public void write(DataOutput dataOutput) throws IOException {
    dataOutput.writeInt(this.getYear());
    dataOutput.writeInt(this.getMonth());
    dataOutput.writeInt(this.getDay());
    dataOutput.writeInt(this.getWd());
}

@Override
public void readFields(DataInput dataInput) throws IOException {
    this.setYear(dataInput.readInt());
    this.setMonth(dataInput.readInt());
    this.setDay(dataInput.readInt());
    this.setWd(dataInput.readInt());


}

@Override
public int compareTo(Tq o) {
    int c1 = Integer.compare(this.getYear(), o.getYear());

    if (c1 == 0) {
        int c2 = Integer.compare(this.getMonth(), o.getMonth());

        if (c2 == 0) {
            return Integer.compare(this.getDay(), o.getDay());
        }
        return c2;
    }
    return c1;
}

}

  • Treducer

    • package com.bjsxt.tq;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

import java.io.IOException;

/*

  • 1949-10-01 34
  • 1949-10-02 34
  • 1949-10-03 34
  • 1949-10-05 34

*/
public class Treducer extends Reducer<Tq, IntWritable, Text, IntWritable> { 

Text tkey = new Text();
IntWritable tval = new IntWritable();

@Override
protected void reduce(Tq key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    for (IntWritable val : values) {
        int flag = 0;
        int day = 0;
        if (flag == 0) {
            tkey.set(key.toString());
            tval.set(val.get());
            context.write(tkey, tval);
            flag++;
            day = key.getDay();
        }
        if (flag != 0 && day != key.getDay()) {
            tkey.set(key.toString());
            tval.set(val.get());
            context.write(tkey, tval);
            //  break;
            return;
        }

    }


}

}

  • TSortComparator

    • package com.bjsxt.tq;

import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/*
*

  • 实现天气年月正序，温度倒序
  • */

public class TSortComparator extends WritableComparator { 

Tq t1 = null;
Tq t2 = null;

public TSortComparator() {
    super(Tq.class, true);
}


@Override
public int compare(WritableComparable a, WritableComparable b) {
    t1 = (Tq) a;
    t2 = (Tq) b;

    int c1 = Integer.compare(t1.getYear(), t2.getYear());
    if (c1 == 0) {
        int c2 = Integer.compare(t1.getMonth(), t2.getMonth());
        if (c2 == 0) {
            return Integer.compare(t1.getWd(), t2.getWd());

        }
        return c2;
    }

    return c1;

}

}

案例二

  • 列表差集

  • 思路

  • MyFD

    • package com.bjsxt.fd;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class MyFD {
public static void main(String[]

最低0.47元/天 解锁文章
一个孤独漫步者的遐想
关注
专栏目录
第四章：Hadoop编程
06-21
MapReduce Shuffle过程使用MRUnit进行单元测试过程MapReduce 数据压缩：Snappy,Gzip,LZOMapReduce Partitioner,Combiner实现及应用MapReduce编程：实现数据去重，数据二次排序，倒排索引使用MapReduce实现微博情感分析与单元测试使用MapReduce用户终端情况分析与单元测试
HDFS编程实践（Hadoop3.1.3）
伟庭的博客
11-30 7391
HDFS编程实践（Hadoop3.1.3）
什么是 hadoop
weixin_41454036的博客
09-10 439
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），其中一个组件是HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS
hadoop编程实践（一）
crazy_scott的博客
09-30 4420
Hadoop操作基础与IDE环境配置。 Hadoop操作 目录操作 在操作之前，需要在hadoop根目录下创建与Linux用户同名的user目录 ./bin/hdfs dfs -mkdir -p /user/hadoop 之后，所有的文件都默认放入这个目录下面，很多命令与Linux命令一致，比如查看当前文件夹： 这个input是这样创建的： ./bin/hfs dfs -mkdi...
Hadoop 综合揭秘——MapReduce 基础编程（介绍 Combine、Partitioner、WritableComparable、WritableComparator 使用方式）...
weixin_34111819的博客
08-16 327
前言 本文主要介绍 MapReduce 的原理及开发，讲解如何利用 Combine、Partitioner、WritableComparator等组件对数据进行排序筛选聚合分组的功能。由于文章是针对开发人员所编写的，在阅读本文前，文章假设读者已经对Hadoop的工作原理、安装过程有一定的了解，因此对Hadoop的安装就不多作说明。请确保源代码运行在Hadoop 2.x以上版本，并以伪分布形式...
09-Hadoop编程.pdf
02-14
标题《09-Hadoop编程.pdf》所指的知识点涵盖了Hadoop编程的多个方面，包括MapReduce编程范式、PageRank算法、TF-IDF算法等。Hadoop作为一个流行的分布式存储和计算平台，非常适合处理大数据问题。本文将详细介绍在...
hadoop插件apache-hadoop-3.1.0-winutils-master.zip
12-17
7. **MapReduce编程**：如果你打算在Windows上进行MapReduce编程，还需要配置开发环境，包括设置Hadoop的类路径，以及使用IDE（如IntelliJ IDEA或Eclipse）的Hadoop插件。 8. **安全性与认证**：在生产环境中，你...
spark-3.2.0-bin-hadoop3-without-hive
04-24
此外，DataFrame 和 Dataset API 进一步优化，提供了更好的类型安全和编程体验。Spark SQL 还增强了对 JDBC 和外部数据源的支持，使得数据导入导出更为便捷。 Hadoop 3 是 Apache Hadoop 的一个重要里程碑，它在...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
在本安装包“spark-3.2.4-bin-hadoop3.2-scala2.13”中，包含了用于运行Spark的核心组件以及依赖的Hadoop版本和Scala编程语言支持。以下是对这些关键组成部分的详细解释： 1. **Spark**: Spark的核心在于它的弹性...
Hadoop编程实例
01-23
据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。
Hadoop之MapReduce编程实例完整源码
08-01
一个自己写的Hadoop MapReduce实例源码，网上看到不少网友在学习MapReduce编程，但是除了wordcount范例外实例比较少，故上传自己的一个。包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作步骤。学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。后续学习还可以参看本人的CSDN博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖而已，也可能力不能及，有些难的也很有可能不懂。希望能够帮助到学习MapReduce的朋友，另外稍微意思下，收取辛苦分1分啊，如果没有积分的就到本人博客下地址，看到后再发到朋友你的邮箱。
Hadoop之HDFS文件系统入门编程
qq_44715376的博客
05-26 589
hasoop之HDFS文件系统入门编程
Hadoop 编程
qq_38361726的博客
06-30 531
Hadoop 编程 MapReduce - 编程 处理 select：直接分析输入数据，取出需要的字段数据即可 where: 也是对输入数据处理的过程中进行处理，判断是否需要该数据 aggregation:min, max, sum group by: 通过Reducer实现 sort join: map join, reduce join Third-Party Libraries export LIBJARS=$MYLIB/commons-lang-2.3.jar, hadoop ja
hadoop编程实例
sheep55的博客
02-03 1114
OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口。默认输出格式是TextOutputFormat当需要输出数据到MySQL/HBase/Elasticsearch等存储框架时需要自定义OutputFormat。定义OutputFormat步骤：1.自定义一个类继承FileOutputFormat2.改写RecordWriter，具体改写输出数据的方法wtite（）/*
Hadoop编程
最新发布
2301_80640837的博客
06-28 577
下载Maven软件二、在f盘下新建文件夹maven在maven下将软件包解压，并新建文件夹repo文件夹在E:\maven\apache-maven-3.9.6\conf目录下打开settings.xml文件ctrl+f搜索mirrors找到此段，并在标签中添加并将如下置换到末尾CTRL+f搜索localRepository找到在其后面添加一对标签，并将repo文件的路径粘贴到此。
Hadoop的基础操作_hadoop常用操作，万字长文总结大数据开发多进程
2401_84164672的博客
04-15 407
分布式文件系统HDFS主要包含文件系统的状态，是否有块丢失，备份丢失等，同时包含集群节点状态等。在Hadoop的集群的基本信息主要包含分布式文件系统HDFS和分布式资源管理YARN。分布式资源管理YARN主要包含集群节点状态，节点资源（内存，CPU等），队列状态等。
Hadoop实战练习---编程实现单词统计
m0_63324772的博客
05-11 526
Hadoop实战练习---编程实现单词统计
hadoop中使用MapReduce编程实例（转）
eric的学习笔记
02-18 1514
原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。   1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选...
Hadoop Map-Reduce编程模型详解
这一框架借鉴了函数式编程的概念，将复杂问题拆解为两个主要阶段：Map和Reduce，以及一个可选的Shuffle阶段，常用于大数据处理平台如Hadoop。 **Map阶段**： Map阶段是Map-Reduce的核心部分，其思想是“分而治之”...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值