MapReduce计算求出每天访问的去重用户数、会员数、session数

最新推荐文章于 2023-05-12 18:07:15 发布
最新推荐文章于 2023-05-12 18:07:15 发布
阅读量1k 收藏 3
点赞数
分类专栏： MapReduce 文章标签： MapReduce计算
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/C_time/article/details/100606983
版权

1、求出每天访问的去重用户数、会员数、session数
数据样例 如下 实际大概500M左右 数据只是一天的数据 所以最后结果只有一条
链接：https://pan.baidu.com/s/15_8m-kn-_cYmmpNSsMcutA
提取码：wjhu

190.164.178.204	1531362217	www.qianfeng.com	/?en=e_l&ver=0.0.1&pl=website&sdk=???&u_ud=8594CA46-632A-4C51-A505-62815E9A3FAF&u_mid=智刚&u_sd=0BB14C4F-29BB-4A84-A27F-E893C67E383C&c_time=1531362385&l=zh-CN&b_iev=Opera/9.80 (Windows NT 10.0; U; zh-cn) Presto/2.9.168 Version/10.50&b_rst=b_rst=1366*768
190.164.178.204	1531362217	www.qianfeng.com	/?en=e_pv&p_url=http%3A%2F%2Flocalhost%3A8080%2Fdemo.jsp&tt=%E6%B5%8B%E8%AF%95%E9%A1%B5%E9%9D%A21&ver=0.0.1&pl=website&sdk=???&u_ud=8594CA46-632A-4C51-A505-62815E9A3FAF&u_mid=智刚&u_sd=0BB14C4F-29BB-4A84-A27F-E893C67E383C&c_time=1531362385&l=zh-CN&b_iev=Opera/9.80 (Windows NT 10.0; U; zh-cn) Presto/2.9.168 Version/10.50&b_rst=b_rst=1366*768
250.75.31.244	1531394907	www.qianfeng.com	/?en=e_l&ver=0.0.7&pl=website&sdk=???&u_ud=74F48D0B-8D1E-4CA9-B1BA-17C6915F2AB9&u_mid=鸿朗&u_sd=A2363DE0-9C4D-4FAE-93C2-DD148862F5D0&c_time=1531394974&l=zh-CN&b_iev=Opera/9.80 (Windows NT 10.0; U; zh-cn) Presto/2.9.168 Version/11.50&b_rst=b_rst=1366*768
250.75.31.244	1531394907	www.qianfeng.com	/?en=e_pv&p_url=http%3A%2F%2Flocalhost%3A8080%2Fdemo2.jsp&p_ref=http%3A%2F%2Flocalhost%3A8080%2Fdemo.jsp&tt=%E6%B5%8B%E8%AF%95%E9%A1%B5%E9%9D%A22&ver=0.0.7&pl=website&sdk=???&u_ud=74F48D0B-8D1E-4CA9-B1BA-17C6915F2AB9&u_mid=鸿朗&u_sd=A2363DE0-9C4D-4FAE-93C2-DD148862F5D0&c_time=1531394974&l=zh-CN&b_iev=Opera/9.80 (Windows NT 10.0; U; zh-cn) Presto/2.9.168 Version/11.50&b_rst=b_rst=1366*768
250.75.31.244	1531394907	www.qianfeng.com	/?en=e_cr&oid=31739B-F90C-E24FEB&on=order31739B-F90C-E24FEB&cua=1454&cut=?&pt=银行卡&ver=0.0.7&pl=website&sdk=???&u_ud=74F48D0B-8D1E-4CA9-B1BA-17C6915F2AB9&u_mid=鸿朗&u_sd=A2363DE0-9C4D-4FAE-93C2-DD148862F5D0&c_time=1531394974&l=zh-CN&b_iev=Opera/9.80 (Windows NT 10.0; U; zh-cn) Presto/2.9.168 Version/11.50&b_rst=b_rst=1366*768
250.75.31.244	1531394907	www.qianfeng.com	/?en=e_cs&oid=31739B-F90C-E24FEB&ver=0.0.7&pl=website&sdk=???&u_ud=74F48D0B-8D1E-4CA9-B1BA-17C6915F2AB9&u_mid=鸿朗&u_sd=A2363DE0-9C4D-4FAE-93C2-DD148862F5D0&c_time=1531394974&l=zh-CN&b_iev=Opera/9.80 (Windows NT 10.0; U; zh-cn) Presto/2.9.168 Version/11.50&b_rst=b_rst=1366*768
139.73.50.157	1531366383	www.qianfeng.com	/?en=e_l&ver=0.0.2&pl=website&sdk=???&u_ud=DBA6A6A6-6DBE-448C-B3AD-7581522B3DE1&u_mid=金鹏&u_sd=0CF915C1-22DB-4F5D-8A8C-31A5F161C0D4&c_time=1531366497&l=zh-CN&b_iev=Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 10.0; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)&b_rst=b_rst=1366*768
139.73.50.157	1531366383	www.qianfeng.com	/?en=e_pv&p_url=http%3A%2F%2Flocalhost%3A8080%2Fdemo2.jsp&p_ref=http%3A%2F%2Flocalhost%3A8080%2Fdemo.jsp&tt=%E6%B5%8B%E8%AF%95%E9%A1%B5%E9%9D%A22&ver=0.0.2&pl=website&sdk=???&u_ud=DBA6A6A6-6DBE-448C-B3AD-7581522B3DE1&u_mid=金鹏&u_sd=0CF915C1-22DB-4F5D-8A8C-31A5F161C0D4&c_time=1531366497&l=zh-CN&b_iev=Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 10.0; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)&b_rst=b_rst=1366*768
139.73.50.157	1531366383	www.qianfeng.com	/?en=e_cr&oid=6521E8-A790-D14B90&on=order6521E8-A790-D14B90&cua=986&cut=￡&pt=银行卡&ver=0.0.2&pl=website&sdk=???&u_ud=DBA6A6A6-6DBE-448C-B3AD-7581522B3DE1&u_mid=金鹏&u_sd=0CF915C1-22DB-4F5D-8A8C-31A5F161C0D4&c_time=1531366497&l=zh-CN&b_iev=Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 10.0; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)&b_rst=b_rst=1366*768
139.73.50.157	1531366383	www.qianfeng.com	/?en=e_cs&oid=6521E8-A790-D14B90&ver=0.0.2&pl=website&sdk=???&u_ud=DBA6A6A6-6DBE-448C-B3AD-7581522B3DE1&u_mid=金鹏&u_sd=0CF915C1-22DB-4F5D-8A8C-31A5F161C0D4&c_time=1531366497&l=zh-CN&b_iev=Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 10.0; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)&b_rst=b_rst=1366*768

1.按天来划分，那key就是时间
第二列是时间戳，需要转化为时间
（时间戳转换为时间的方法）

time=“1531362217”
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd");
String time1 = simpleDateFormat.format(new Date(1000L * Long.parseLong(time.toString())));
输出后结果为 2018-07-12

第四列是一串字符串，其中可以切割出u_ud, u_mid, u_sd 就是要求的三个东西（我也不太懂分别代表啥）
就是分别去重。 简单：这个数据量，去重想用到Set就行。
刚开始搞错了，map输出时将三个串放在一串输出了，然后在reduce端只是切割后计数，reduce没有判断符不符合条件，反正就是不对，可能会有脏数据，要考虑这样的情况，emm， 我就得是要得。

还有 没有仔细观察数据 应该先使用？？？切割 这样才能得到想要的 直接使用&切割不对

2.map切割 拼起来直接输出了

 protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String[] s = value.toString().split("\t");
            String time = s[1];
            String s1[] = s[3].split("&");
            String uid = s1[4];
            String umid = s1[5];
            String usid = s1[6];
            String time1 = simpleDateFormat.format(new Date(1000L * Long.parseLong(time.toString())));
            context.write(new Text(time1), new Text(uid+":"+umid+":"+usid));
        }

然后reduce

protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            Set<String> uidSet = new TreeSet<>();
            Set<String> umidSet = new TreeSet<>();
            Set<String> usidSet = new TreeSet<>();
            for(Text t : values){
                String ss[] = t.toString().split(":");
                    String uid1 = ss[0];
                    String umid1 = ss[1];      就是这样切割完了直接放入set 可能有脏数据的情况 就是它的数据可能并不是id啥的 只是使用了&分隔 ： 分隔的那种  emmm  也不知道想的对不对。。。。
                    
                    String usid1 = ss[2];
                    uidSet.add(uid1);
                    umidSet.add(umid1);
                    usidSet.add(usid1);
            }
            context.write(new Text(key), new Text("u_ud:"+uidSet.size() +"\t" +"u_mid:"+ umidSet.size() +"u_sd:"+ "\t" + usidSet.size()));
        }

然后出来的结果是它

2018-07-12	u_ud:400025	u_mid:213582 u_sd:	480253

就是吧
应该分开输出，在map端，满足某个条件分别输出。
具体代码如下。

2018-07-12	u_ud:400000	u_sid:238	u_sd:400001

 @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String[] s = value.toString().split("\t");
            String time = s[1];
            String time1 = simpleDateFormat.format(new Date(1000L * Long.parseLong(time.toString())));
//            String[] s1 = s[3].split("/?/?/?");
            String[] s1 = s[3].split("\\?\\?\\?");
            
            String[] s2 = s1[1].split("&");
            for (String str : s2){// 循环使用&分隔出来的每一个字符串 找寻符合条件的
                String[] tmp_value = str.split("=");
                //u_mid=金鹏 将这一串再用=切出来 不切也行 判断是否包含这个u_mid字符串也行
                if(tmp_value[0].equals("u_ud")){
                    context.write(new Text(time1), new Text("u_ud:"+tmp_value[1]));
                }else if(tmp_value[0].equals("u_mid")){
                    context.write(new Text(time1), new Text("u_mid:"+tmp_value[1]));
                }else if(tmp_value[0].equals("u_sd")){
                    context.write(new Text(time1), new Text("u_sd:"+tmp_value[1]));
                }
            }

//三个值 分别放三个set 因为set自动去重
        Set<String> uudSet = new TreeSet<>();
        Set<String> umidSet = new TreeSet<>();
        Set<String> usdSet = new TreeSet<>();
        //reduce是根据key值分组 所以时间相同的在一个reduce中 满足按天计算数量
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            for(Text t : values){//循环存放 放在不同的map
                String ss[] = t.toString().split(":");
                if(ss[0].equals("u_ud")){
                    uudSet.add(ss[1]);
                }else if(ss[0].equals("u_mid")){
                    umidSet.add(ss[1]);
                }else if(ss[0].equals("u_sd")){
                    usdSet.add(ss[1]);
                }
            }
            context.write(key,new Text("u_ud:"+uudSet.size()+"\tu_sid:"+umidSet.size()+"\tu_sd:"+usdSet.size()));
        }

整体代码

/**
 * 作者:Shishuai
 * 文件名：MyTest01
 * 时间：2019/9/7 16:46
 */

package test01;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Set;
import java.util.TreeSet;

public class UpdateLiuLiangMapReduce {
    public static class MyMapper extends Mapper<LongWritable, Text, Text, Text>{
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd");
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //一共四列数据 先使用\t切割
            String[] s = value.toString().split("\t");

            //获取第二列的时间戳 转换为时间
            String time = s[1];
            String time1 = simpleDateFormat.format(new Date(1000L * Long.parseLong(time.toString())));

            //然后使用？？？分隔 只有在？？？后面一串的再用 &分隔才能获得u_ud u_mid u_sid
            //注意问号？需要使用转义字符
//            String[] s1 = s[3].split("/?/?/?");
            String[] s1 = s[3].split("\\?\\?\\?");
            //这样获取的第二个值 再使用&分隔
//            这样具体看一下
//            ??? & u_ud=DBA6A6A6-6DBE-448C-B3AD-7581522B3DE1 & u_mid=金鹏 & u_sd=0CF915C1-22DB-4F5D-8A8C-31A5F161C0。。。。。
            String[] s2 = s1[1].split("&");
//            这样分别获取前三个值则为想要的 emm 也不一定 所以要判断下
//            而且 注意 是分别去重 所以不能跟我刚开始一样 放在一个value中输出 所以要分开去重（好像我那样也行 就是感觉麻烦吧 这样分开 简洁明了）
            for (String str : s2){// 循环使用&分隔出来的每一个字符串 找寻符合条件的
                String[] tmp_value = str.split("=");
                //u_mid=金鹏 将这一串再用=切出来 不切也行 判断是否包含这个u_mid字符串也行
                if(tmp_value[0].equals("u_ud")){
                    context.write(new Text(time1), new Text("u_ud:"+tmp_value[1]));
                }else if(tmp_value[0].equals("u_mid")){
                    context.write(new Text(time1), new Text("u_mid:"+tmp_value[1]));
                }else if(tmp_value[0].equals("u_sd")){
                    context.write(new Text(time1), new Text("u_sd:"+tmp_value[1]));
                }
                // 输出格式 1970-5-5  u_mid:志刚
                //         1970-5-5  u_sd:dasdasdasd
                //                 需要对 u_ud u_mid u_sd 统计个数
            }
        }
    }
    public static class MyReducer extends Reducer<Text, Text, Text, Text>{
        //三个值 分别放三个set 因为set自动去重
        Set<String> uudSet = new TreeSet<>();
        Set<String> umidSet = new TreeSet<>();
        Set<String> usdSet = new TreeSet<>();

        //reduce是根据key值分组 所以时间相同的在一个reduce中 满足按天计算数量
        @Override
        protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {

            for(Text t : values){//循环存放 放在不同的map
                String ss[] = t.toString().split(":");
                if(ss[0].equals("u_ud")){
                    uudSet.add(ss[1]);
                }else if(ss[0].equals("u_mid")){
                    umidSet.add(ss[1]);
                }else if(ss[0].equals("u_sd")){
                    usdSet.add(ss[1]);
                }
//                context.write(new Text(key + ":" + t),new Text("u_ud:"+uudSet.size()+"\tu_sid:"+umidSet.size()+"\tu_sd:"+usdSet.size()));

            }
            context.write(key,new Text("u_ud:"+uudSet.size()+"\tu_sid:"+umidSet.size()+"\tu_sd:"+usdSet.size()));
        }


}

    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();

//        conf.set("fs.defaultFS", "hdfs://qf");
//        conf.set("dfs.nameservices", "qf");
//        conf.set("dfs.ha.namenodes.qf", "nn1, nn2");
//        conf.set("dfs.namenode.rpc-address.qf.nn1", "hadoop01:9000");
//        conf.set("dfs.namenode.rpc-address.qf.nn2", "hadoop02:9000");
//        conf.set("dfs.client.failover.proxy.provider.qf", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

        Job job = Job.getInstance(conf, "LiuLiangMapReduce");


        job.setJarByClass(UpdateLiuLiangMapReduce.class);


        job.setMapperClass(UpdateLiuLiangMapReduce.MyMapper.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(Text.class);

        job.setReducerClass(UpdateLiuLiangMapReduce.MyReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);


        FileInputFormat.addInputPath(job, new Path("C:\\Users\\HP\\Desktop\\logdata.log"));
        FileOutputFormat.setOutputPath(job, new Path("D:/BigDataTestData/test00005"));

        int success = job.waitForCompletion(true) ? 0 : 1;

        System.exit(success);
    }
}
C_time
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce处理数据(用户每周登录次数)
u010889990的专栏
09-10 1431
数据格式如下： {   "_id" : 9040001,   "username" : "shao1",   "cityId" : 320200,   "versionVal" : NumberLong("210000200000"),   "loginInIP" : "192.168.2.7",   "logoutTime" : new Date("1/9/2014 21:01:0
大数据学习（八）：mapreduce编程案例-计算访问次数最多的5个网站
01-20
数据 2017/07/28 qq.com/a 2017/07/28 qq.com/bx 2017/07/28 qq.com/by 2017/07/28 qq.com/by3 2017/07/28 qq.com/news 2017/07/28 sina.com/news/socail 2017/07/28 163.com/ac 2017/07/28 sina.com/news/socail 2017/07/28 163.com/sport 2017/07/28 163.com/ac 2017/07/28 sina.com/play 2017/07/28 163.com/sport 2017/07
mapreduce案列--求出每天访问的去重用户数、会员数、session数
weidajiangjiang的博客
09-08 387
数据类似 数据在百度网盘 链接：https://pan.baidu.com/s/1kIpnSroPntL3ZoswdApKng 提取码：9dgc 输出格式2018-07-12 用户数:400000 会员数:238 session:400001 数据解释：第一列用户访问的ip地址，第二列时间戳，第三列：网址，第四列中：u_ud,u_mid,u_sd分别对应题目中的用户，会员，session 话不多说...
hadoop中利用mapreduce统计--每日登陆系统的用户频次
weixin_33938733的博客
09-01 2078
为什么80%的码农都做不了架构师？>>> ...
每日用户去重cuid
weixin_43829532的博客
09-26 333
SELECT a.os, a.cuid FROM lbs_map_user_active_daily_pb a WHERE event_day=’{DATE}’ AND a.os in (‘android’,‘iphone’) GROUP BY a.os, a.cuid
MapReduce序列化【用户流量使用统计】
梦想是动物管理员
05-12 2570
MapReduce自定义序列化实例
MapReduce实例 计算单词数 的jar包
05-01
这是MapReduce的小例子，计算单词量，其中就只是用到小框架，只不过每个人的算法不一样而已。 对应博客地址： https://blog.csdn.net/magic_ninja/article/details/80071394
使用Hadoop中的MapReduce计算框架可以对数字文本分析及求和
最新发布
11-15
使用Hadoop中的MapReduce计算框架可以对数字文本分析及求和，当遇到大规模数据时，使用别的编程语言会使得计算过程变得复杂，但使用MapReduce并行计算框架只需编写map函数和reduce函数即可，简单方便.zip
Java代码统计网站中不同省份用户的访问数
09-02
在Java编程中，统计网站中不同省份用户的访问数是一个常见的数据分析任务，这通常涉及到日志分析和使用MapReduce框架处理大规模数据。以下是对这个主题的详细讲解： **一、需求** 1. 日志数据：首先，你需要从...
利用MapReduce解决用户的上、下限流量，并求和问题--附例子
大黑牛的博客
07-19 505
要求:需要统计手机用户流量日志，日志内容实例：                                             手机号    上行流量  下行流量                                            13726230501    200    1100                                            1...
mapreduce案例_案例1-使用hadoop-mapreduce来统计并进行好友推荐
weixin_35728636的博客
01-22 440
先来看一个图：途中相邻连线的人之间是彼此直接好友的关系，那么现在问个问题：基于上图，如果要给小明推荐一个好友，你会推荐谁？相信你很快就有答案了，答案就是凤姐，为什么是凤姐呢！我们能很清晰的看到凤姐与小明的共同好友是图中最多的。同样的，我们之前经常能在QQ里会看到，"你可能认识的人",有xx个共同好友。 那么我们推荐的规则是同一对”好友的好友”(简称FOF)出现的次数,比如：如花的好友的好友有...
hbase中的mapreduce
zzds111的博客
12-05 1498
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.Scan; impo.
12、Hadoop框架MapReduce 统计人数、总分、关联
hujieliang123的博客
02-16 4827
文章目录Hadoop框架MapReduce 统计人数、总分、关联数据 Hadoop框架MapReduce 统计人数、总分、关联 数据 students.txt 1500100001,施笑槐,22,女,文科六班 1500100002,吕金鹏,24,男,文科六班 1500100003,单乐蕊,22,女,理科六班 1500100004,葛德曜,24,男,理科三班 1500100005,宣谷芹,22,女,理科五班 1500100006,边昂雄,21,男,理科二班 1500100007,尚孤风,23,女,文科六班 1
利用MapReduce对HBase数据进行统计分析
carrots
03-02 3602
1、HBase作为一种kv数据库，能够很好的面对高吞吐率的在线数据读写服务，尤其是写操作，但是在非rowkey多条件查询、数据分析、统计等场景下，HBase表现的就不是很好了，这些场景下就比较适合来用MapReduce来计算。2、应用场景假设有一张HBase表article,它有一列是数据来源source，现在需要统计不同来源的文章数量(数据行数)，对于这样的简单统计需求，可以利用MapReduc...
MapReduce实例----统计个数
w_t_y_y的博客
05-24 1686
一、统计个数 1.完整代码： package com.zt; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop
hadoop之mapreduce完成对用户访问网站日期统计
海鸥传奇的专栏
06-16 2382
1.数据文件 user_webAccess.txt 格式如下： jim,2019-09-12 tom,2019-03-03 ross,2019-05-06 pis,2019-12-08 oax,2019-11-05 jim,2019-09-13 tom,2019-03-04 ross,2019-05-07 pis,2019-12-09 oax,2019-11-06 jima,2019-09...
用mapreduce去访问文件中每个用户的用户名
qq_38663534的博客
10-27 543
需要准备的文件:<1>类似与上图的.txt文件,注意,文件编码格式为UTF-8,为的是可在编程软件中正常识别,上面的字段分别是: 用户名 登录状态 ip地址 并且字段之间用空格隔开 <2>已经搭建好的集群,安装好了hadoop,因为要使用mapreduce,已在一个代码编辑工具中与hadoop成功连接,这里用的编辑工具是eclipse,用到的语言是java代码 实现流程 <1>上传上
mapreduce 求中位数
11-08
MapReduce是一种用于处理大数据集的分布式计算模型。要求在MapReduce模型中求解中位数，可以参考以下步骤： 1. Map阶段：将输入的数据划分为小块，并在每块数据上执行映射操作。对于每个映射操作，可以将数据分为键值对，其中键是一个标识数据所在的块，值是块中的元素。 2. Shuffle和Sort阶段：将Map阶段得到的键值对根据键进行分组，并按照键进行排序。这可以保证具有相同键的数据会被发送到同一个Reduce任务进行处理。 3. Reduce阶段：对于每个Reduce任务，输入是按照键排序的键值对列表。在Reduce阶段，可以对每个键值对列表计算中位数。具体的求解中位数的方法可以有多种。 一种常用的方法是： - 将键值对列表按照值进行排序。 - 通过遍历键值对列表找到中位数。如果列表长度为奇数，则中位数位置为（列表长度+1）/2；如果列表长度为偶数，则中位数位置为列表长度/2和（列表长度/2+1）的平均值。 - 输出中位数作为Reduce任务的结果。 4. 最后，可以将所有Reduce任务的结果汇总起来得到整个数据集的中位数。 需要注意的是，MapReduce模型适用于大规模数据集，因此在处理中位数时需要将数据划分为合适的块，并设计合理的算法来保证处理效率和准确性。以上是简要的过程描述，具体的实现可以根据数据的特点和计算需求进行进一步优化和调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值