大数据学习——mapreduce学习topN问题

最新推荐文章于 2022-04-05 23:39:46 发布
最新推荐文章于 2022-04-05 23:39:46 发布
阅读量2.2k 收藏 1
点赞数
文章标签： 大数据 java shell
原文链接：http://www.cnblogs.com/feifeicui/p/10222452.html
版权

 

 

求每一个订单中成交金额最大的那一笔  top1

数据

Order_0000001,Pdt_01,222.8
Order_0000001,Pdt_05,25.8
Order_0000002,Pdt_05,325.8
Order_0000002,Pdt_03,522.8
Order_0000002,Pdt_04,122.4
Order_0000003,Pdt_01,222.8
Order_0000003,Pdt_01,322.8

 

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.cyf</groupId>
  <artifactId>MapReduceCases</artifactId>
  <packaging>jar</packaging>
  <version>1.0</version>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
  </properties>
  <dependencies>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>2.6.4</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-hdfs</artifactId>
      <version>2.6.4</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>2.6.4</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-mapreduce-client-core</artifactId>
      <version>2.6.4</version>
    </dependency>

    <dependency>
      <groupId>com.alibaba</groupId>
      <artifactId>fastjson</artifactId>
      <version>1.1.40</version>
    </dependency>

    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.36</version>
    </dependency>
  </dependencies>

  <build>
    <plugins>
      <plugin>
        <artifactId>maven-assembly-plugin</artifactId>
        <configuration>
          <appendAssemblyId>false</appendAssemblyId>
          <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
          </descriptorRefs>
          <archive>
            <manifest>
              <mainClass>cn.itcast.mapreduce.top.one.TopOne</mainClass>
            </manifest>
          </archive>
        </configuration>
        <executions>
          <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
              <goal>assembly</goal>
            </goals>
          </execution>
        </executions>
      </plugin>
    </plugins>
  </build>

</project>
package cn.itcast.mapreduce.top.one;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;

/**
 *
 *
 */
public class OrderBean implements WritableComparable<OrderBean> {

    private Text itemid;
    private DoubleWritable amount;

    public OrderBean() {
    }

    public OrderBean(Text itemid, DoubleWritable amount) {
        set(itemid, amount);

    }

    public void set(Text itemid, DoubleWritable amount) {

        this.itemid = itemid;
        this.amount = amount;

    }

    public Text getItemid() {
        return itemid;
    }

    public DoubleWritable getAmount() {
        return amount;
    }

    public int compareTo(OrderBean o) {
        int cmp = this.itemid.compareTo(o.getItemid());
        if (cmp == 0) {

            cmp = -this.amount.compareTo(o.getAmount());

        }
        return cmp;
    }

    public void write(DataOutput out) throws IOException {
        out.writeUTF(itemid.toString());
        out.writeDouble(amount.get());

    }

    public void readFields(DataInput in) throws IOException {
        String readUTF = in.readUTF();
        double readDouble = in.readDouble();

        this.itemid = new Text(readUTF);
        this.amount = new DoubleWritable(readDouble);
    }

    @Override
    public String toString() {

        return itemid.toString() + "\t" + amount.get();

    }

}
package cn.itcast.mapreduce.top.one;

import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/**
 *
 */
public class ItemidGroupingComparator extends WritableComparator {

    protected ItemidGroupingComparator() {

        super(OrderBean.class, true);
    }
    

    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        OrderBean abean = (OrderBean) a;
        OrderBean bbean = (OrderBean) b;
        
        //��item_id��ͬ��bean����Ϊ��ͬ���Ӷ�ۺ�Ϊһ��
        return abean.getItemid().compareTo(bbean.getItemid());
        
    }
    
    

}
package cn.itcast.mapreduce.top.one;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Partitioner;


public class ItemIdPartitioner extends Partitioner<OrderBean, NullWritable> {

    @Override
    public int getPartition(OrderBean key, NullWritable value, int numPartitions) {
        //ָ
        return (key.getItemid().hashCode() & Integer.MAX_VALUE) % numPartitions;

    }

}

 

package cn.itcast.mapreduce.top.one;

import java.io.IOException;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.sun.xml.bind.v2.schemagen.xmlschema.List;

/**
 * ����secondarysort�������ÿ��item����������ļ�¼
 *
 * @author AllenWoon
 */
public class TopOne {

    static class TopOneMapper extends Mapper<LongWritable, Text, OrderBean, NullWritable> {

        OrderBean bean = new OrderBean();

        /* Text itemid = new Text(); */

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String line = value.toString();
            String[] fields = StringUtils.split(line, ",");

            bean.set(new Text(fields[0]), new DoubleWritable(Double.parseDouble(fields[2])));

            context.write(bean, NullWritable.get());

        }

    }

    static class TopOneReducer extends Reducer<OrderBean, NullWritable, OrderBean, NullWritable> {

        @Override
        protected void reduce(OrderBean key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
            context.write(key, NullWritable.get());
        }
    }

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

//        job.setJarByClass(TopOne.class);

        //告诉框架，我们的程序所在jar包的位置
        job.setJar("/root/TopOne.jar");
        job.setMapperClass(TopOneMapper.class);
        job.setReducerClass(TopOneReducer.class);

        job.setOutputKeyClass(OrderBean.class);
        job.setOutputValueClass(NullWritable.class);

        FileInputFormat.setInputPaths(job, new Path("/top/input"));
        FileOutputFormat.setOutputPath(job, new Path("/top/output1"));
        // FileInputFormat.setInputPaths(job, new Path(args[0]));
        // FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // ָ��shuffle��ʹ�õ�GroupingComparator��
        job.setGroupingComparatorClass(ItemidGroupingComparator.class);
        // ָ��shuffle��ʹ�õ�partitioner��
        job.setPartitionerClass(ItemIdPartitioner.class);

        job.setNumReduceTasks(1);

        job.waitForCompletion(true);

    }

}

创建文件夹

 hadoop fs -mkdir -p /top/input   

上传数据

 hadoop fs -put top.txt /top/input  

运行

hadoop jar TopOne.jar cn.itcast.mapreduce.top.one.TopOne   

运行结果

 

 

 

 

 

 

topN

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.cyf</groupId>
    <artifactId>MapReduceCases</artifactId>
    <packaging>jar</packaging>
    <version>1.0</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.6.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.6.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.6.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-mapreduce-client-core</artifactId>
            <version>2.6.4</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>1.1.40</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.36</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <appendAssemblyId>false</appendAssemblyId>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                    <archive>
                        <manifest>
                            <mainClass>cn.itcast.mapreduce.top.n.TopN</mainClass>
                        </manifest>
                    </archive>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>assembly</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

 

package cn.itcast.mapreduce.top.n;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.WritableComparable;

/**
 * ������Ϣbean��ʵ��hadoop�����л�����
 */
public class OrderBean implements WritableComparable<OrderBean> {

    private Text itemid;
    private DoubleWritable amount;

    public OrderBean() {
    }

    public OrderBean(Text itemid, DoubleWritable amount) {
        set(itemid, amount);

    }

    public void set(Text itemid, DoubleWritable amount) {

        this.itemid = itemid;
        this.amount = amount;

    }

    public Text getItemid() {
        return itemid;
    }

    public DoubleWritable getAmount() {
        return amount;
    }

    public int compareTo(OrderBean o) {
        int cmp = this.itemid.compareTo(o.getItemid());
        if (cmp == 0) {

            cmp = -this.amount.compareTo(o.getAmount());

        }
        return cmp;
    }

    public void write(DataOutput out) throws IOException {
        out.writeUTF(itemid.toString());
        out.writeDouble(amount.get());

    }

    public void readFields(DataInput in) throws IOException {
        String readUTF = in.readUTF();
        double readDouble = in.readDouble();

        this.itemid = new Text(readUTF);
        this.amount = new DoubleWritable(readDouble);
    }

    @Override
    public String toString() {

        return itemid.toString() + "\t" + amount.get();

    }

    /*
     * @Override public int hashCode() {
     * 
     * return this.itemid.hashCode(); }
     */
    @Override
    public boolean equals(Object obj) {
        OrderBean bean = (OrderBean) obj;

        return bean.getItemid().equals(this.itemid);
    }

}
package cn.itcast.mapreduce.top.n;

import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;

/**
 * ���ڿ���shuffle�����reduce�˶�kv�Եľۺ��߼�
 */
public class ItemidGroupingComparator extends WritableComparator {

    protected ItemidGroupingComparator() {

        super(OrderBean.class, true);
    }
    

    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        OrderBean abean = (OrderBean) a;
        OrderBean bbean = (OrderBean) b;

        //��item_id��ͬ��bean����Ϊ��ͬ���Ӷ�ۺ�Ϊһ��
        return abean.getItemid().compareTo(bbean.getItemid());

    }


}
package cn.itcast.mapreduce.top.n;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.mapreduce.Partitioner;


public class ItemIdPartitioner extends Partitioner<OrderBean, NullWritable> {

    @Override
    public int getPartition(OrderBean key, NullWritable value, int numPartitions) {
        //ָ��item_id��ͬ��bean������ͬ��reducer task
        return (key.getItemid().hashCode() & Integer.MAX_VALUE) % numPartitions;

    }

}
package cn.itcast.mapreduce.top.n;

import java.io.IOException;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.shell.Count;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import com.sun.xml.bind.v2.schemagen.xmlschema.List;

/**
 * ����secondarysort�������ÿ��item����������ļ�¼
 */
public class TopN {

    static class TopNMapper extends Mapper<LongWritable, Text, OrderBean, OrderBean> {

        OrderBean v = new OrderBean();
        Text k = new Text();

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

            String line = value.toString();
            String[] fields = StringUtils.split(line, ",");
            k.set(fields[0]);

            v.set(new Text(fields[0]), new DoubleWritable(Double.parseDouble(fields[2])));

            context.write(v, v);

        }

    }

    static class TopNReducer extends Reducer<OrderBean, OrderBean, NullWritable, OrderBean> {
        int topn = 1;
        int count = 0;

        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            Configuration conf = context.getConfiguration();
            topn = Integer.parseInt(conf.get("topn"));
        }

        @Override
        protected void reduce(OrderBean key, Iterable<OrderBean> values, Context context) throws IOException, InterruptedException {
            for (OrderBean bean : values) {
                if ((count++) == topn) {
                    count = 0;
                    return;
                }
                context.write(NullWritable.get(), bean);
            }
        }
    }

    public static void main(String[] args) throws Exception {

        Configuration conf = new Configuration();
        // ָ������classpath�µ��û��Զ��������ļ�
//        conf.addResource("userconfig.xml");
//        System.out.println(conf.get("top.n"));
        // Ҳ����ֱ���ô��������ò���ݸ�mapreduce�����ڲ�ʹ��
        conf.set("topn", "2");
        Job job = Job.getInstance(conf);

//        job.setJarByClass(TopN.class);

        //告诉框架，我们的程序所在jar包的位置
        job.setJar("/root/TopOne.jar");
        job.setMapperClass(TopNMapper.class);
        job.setReducerClass(TopNReducer.class);

        job.setMapOutputKeyClass(OrderBean.class);
        job.setMapOutputValueClass(OrderBean.class);

        job.setOutputKeyClass(NullWritable.class);
        job.setOutputValueClass(OrderBean.class);

        FileInputFormat.setInputPaths(job, new Path("/top/input"));
        FileOutputFormat.setOutputPath(job, new Path("/top/outputn"));
        // ָ��shuffle��ʹ�õ�partitioner��
        job.setPartitionerClass(ItemIdPartitioner.class);
        job.setGroupingComparatorClass(ItemidGroupingComparator.class);

        job.setNumReduceTasks(1);

        job.waitForCompletion(true);

    }

}

打包并运行

 

运行

hadoop jar TopN.jar cn.itcast.mapreduce.top.n.TopN 

运行结果 n=2

 

转载于:https://www.cnblogs.com/feifeicui/p/10222452.html

weixin_30407099
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据知识，MapReduce 基础实战
06-21
大数据知识，MapReduce 基础实战； 大数据知识，MapReduce 基础实战； 大数据知识，MapReduce 基础实战； 大数据知识，MapReduce 基础实战； 大数据知识，MapReduce 基础实战； 大数据知识，MapReduce 基础实战； ...
MapReduce程序之TopN问题（排行榜问题）
weixin_33717117的博客
03-09 1138
[toc] 需求 有下面的文本文件： yeyonghao@yeyonghaodeMacBook-Pro:~/data/input/topn$ cat senventeen_a.txt 1,9819,100,121 2,8918,2000,111 3,2813,1234,22 4,9100,10,1101 5,3210,490,111 6,1298,28,1211 7,1010,281,90 8,...
MapReduce当中topN问题的解决方法
mark_to_win的专栏
06-01 765
topN问题：马克-to-win @ 马克java社区：防盗版实名手机尾号：73203。topN问题就是输出每组中最大的一个或几个。为什么说是一个或几个呢？因为输出一个或者输出几个的算法是一样的。我们下面以输出一个为例子，做一个示范。6个订单如下：o1,p2,250.0o2,p3,500.0o2,p4,100.0o2,p5,700.0o3,p1,150.0o1,p1,200.0求出每个订单中最高...
MapReduce读取Mysql统计分析再将结果写入mysql中供动态可视化
空空说技术的博客
02-14 5399
MapReduce读取Mysql统计分析再将结果写入mysql中供动态可视化 １.前言 最近做一个小项目，其中一个功能是，使用hadoop的MapReduce程序来读取Mysql数据库的某表数据，然后MR进行类别统计，然后再将统计结果写入mysql的另一张表中，最后使用jsp页面调用Echarts读取数据库来动态可视化结果。 先上一张效果图： 本篇先介绍MapReduce读取Mysql统计分析再...
hadoop详细笔记(十五) mapreduce数据分析案例之高效topN
HANG.NIAN
07-14 1699
电影案例中的求每部电影评论分数最高的前N条记录需求 ,我们的解题思路是这样的: 以电影的ID为KEY,以电影数据为Value输出到Reduce端 , Reduce端再将同一部电影的所有的评论记录存储在list集合中,对list集合按照评论分数的降序排列! 输出前N条数据 高效topN实现思路如下 : 我们将整个电影Bean放在Map的key的位置, 在MR内部是默认按照Key进行排序 , Key分区 , Key分组的!所以如果我们将Bean放在KEY的位置需要做一下三件事 自定义的类要序列化和可
MapReduce 大数据 入门 学习
03-09
MapReduce大数据入门学习 MapReduce是一种编程模型，用于处理和生成超大数据集的算法模型的相关实现。它的主要思想是将一个复杂的任务分解成许多小任务，然后使用许多电脑同时完成这些小任务，最后汇总结果。...
MapReduce开发 大数据 入门 学习
03-09
本篇主要介绍MapReduce开发的基础知识，以大数据入门学习的角度出发。 首先，我们从一个简单的例子——WordCount程序开始。WordCount程序是MapReduce的典型应用，它统计一组文本文件中每个单词出现的次数。Map阶段...
3 大数据基础 - MapReduce
最新发布
12-20
大数据基础 - MapReduce MapReduce 是大数据处理中的一种编程模型，由 Google 开发，后被 Apache 组织收录，成为 Hadoop 的一部分。MapReduce 的主要思想是将复杂的计算任务拆分成两个阶段：Map 阶段和 Reduce 阶段...
Java MapReduce处理多个文件
lxb0421的博客
04-19 885
使用场景：一个文件夹中含有多个文件，使用MapReduce处理这些文件的方法如下 一、生成一个Mapper类 package cn.datang.wc; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import org.apache
图解面试题：经典topN问题
公众号（猴子数据分析）
11-21 1975
工作中会经常遇到这样的业务问题：如果找到每个类别下用户点击最多的5个商品是什么？这类问题其实就是常见的：每组最大的N条记录(topN)。【题目】现有“成绩表”，记录了每个学生各科的成绩。表内容如下：问题：查找每个学生成绩最高的2个科目【解题思路】1.看到问题中要查“每个”学生最高的成绩。还记得我们之前课程里讲过的吗？当有“每个”出现的时候，就要想到是要分组了。这里是“每个学生”，结合表的结构，是按...
算法(2) TopN Mapreduce/Spark
tom_fans的博客
10-19 399
原理是每个map保留TopN数据，然后发送给reduce, reduce只设置一个，也就是说如果有10个map, 那么每个map处理好数据保留TopN列表，然后10个map就是100条数据，然后发送给reduce. 然后由reduce来过滤出10条数据。 每个Mapper开始之前有setup方法，结束之后有cleanup， 通常不会使用，setup, cleanup仅仅是每个mapper
大数据求TopN的优化算法
爱科学，爱生活
04-06 6619
35匹马选前三名问题 有35匹马,要通过跑马（不借助其他工具）确定前三名,每次可以跑6匹,如何设计一个算法使得跑的次数最少?期望答案是7次，具体过程自己百度，但是这个算法可以作为优化大数据求TopN的算法。
MapReduce过程详解(基于hadoop2.x架构)
weixin_30699443的博客
05-29 325
本文基于hadoop2.x架构详细描述了mapreduce的执行过程，包括partition，combiner，shuffle等组件以及yarn平台与mapreduce编程模型的关系。 mapreduce的简介和优点 mapreduce是一个分布式运算程序的编程框架,是hadoop数据分析的核心. mapreduce的核心思想是将用户编写的逻辑代码和架构中的各个组件整合成一个分布式运算程序,实现...
从Top N 问题窥探MapReduce分组前排序思想
hello_java_noob_go的博客
04-05 2211
关于TopN 问题中的排序 MapReduce分组 MapReduce源码分析分组前排序原理
大数据知识(六):Hadoop练习
Oeljeklaus的博客
05-26 3271
流量统计需求流量的数据1363157985066 13726230503 00-FD-07-A4-72-B8:CMCC 120.196.100.82 i02.c.aliimg.com 24 27 2481 24681 2001363157995052 13826544101 5C-0E-8B-C7-F1-E0:CMCC 120.197.40.4 4 0 264 0 20013631579...
MapReduce TopN问题
向阳争渡
12-21 650
利用MapReduce如何实现类似Wordcount的TopN问题
MapReduce 归并排序利用之高效TopN案例
xiaohu21的博客
08-22 907
MapReduce 归并排序利用之高效TopN案例 1.MapReduce排序 根据mapreduce的内部机制可知，分区和排序贯穿整个过程。 maptask的key，value输出到环形缓冲区中， 每个maptask的数据从环形缓冲区溢写到临时文件， 相同maptask的临时文件合并为一个文件， reduce从maptask产生的文件中针对key进行分组提取。 这些排序，默认都是根据key来进行字符串升序排序，也就是ASCII码表的字母顺序升序排序。 2.问题 当需要对一个很大的分布式文件中数据
互联网UV，PU，TopN统计
统木木的博客
12-23 4664
1.UV、PV、TopN概念 1.1 UV（unique visitor） 即独立访客数 　　指访问某个站点或点击某个网页的不同IP地址的人数。在同一天内，UV只记录第一次进入网站的具有独立IP的访问者，在同一天内再次访问该网站则不计数。UV提供了一定时间内不同观众数量的统计指标，而没有反应出网站的全面活动。 1.2PV（page view）页面浏览量或点击量 　　页面浏览量或点击量，...
精品课程推荐 大数据与云计算教程课件 优质大数据课程 09.MapReduce序列化（共29页）.pptx
12-18
"该资源是一套全面的大数据与云计算教程，涵盖了从Hadoop基础到高级应用的多个主题，包括MapReduce、HDFS、YARN、Hive、HBase、Pig、Zookeeper、Kafka、Spark等核心组件的学习。特别强调了MapReduce的序列化和反序列...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值