关闭

优酷面试题

标签: 优酷面试题
675人阅读 评论(0) 收藏 举报
分类:

 mapred找共同朋友,数据格式如下
A B C D E F
B A C D E
C A B E
D A B E
E A B C D
F A


第一字母表示本人,其他是他的朋友,找出有共同朋友的人,和共同朋友是谁


 运行结果
AB      E:C:D
AC      E:B
AD      B:E
AE      C:B:D
BC      A:E
BD      A:E
BE      C:D:A
BF      A
CD      E:A:B
CE      A:B
CF      A
DE      B:A
DF      A
EF      A

 


思路:对于每一行,两两进行组合作为一个新key,把每一行的第一个人作为value,map输出<key,value>。


reduce函数进行聚合合并相同的key(即在map阶段的两两组合的新key),具有相同key的   "每行第一个人列表"  就是key的共同朋友。



代码:

package 优酷面试题;


import java.io.IOException;
import java.util.Set;
import java.util.StringTokenizer;
import java.util.TreeSet;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;


public class FindFriend {
        
          public static class ChangeMapper extends Mapper<Object, Text, Text, Text>{                      
                   @Override
                   public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
                             StringTokenizer itr = new StringTokenizer(value.toString());
                                 Text owner = new Text();
                                 Set<String> set = new TreeSet<String>();
                             owner.set(itr.nextToken());
                             while (itr.hasMoreTokens()) {
                                     set.add(itr.nextToken());
                             }             
                             String[] friends = new String[set.size()];
                             friends = set.toArray(friends);
                             
                             for(int i=0;i<friends.length;i++){
                                     for(int j=i+1;j<friends.length;j++){
                                             String outputkey = friends[i]+friends[j];
                                             context.write(new Text(outputkey),owner);
                                     }                                     
                             }
                   }
          }
          /*
           	这是 StringTokenizer 类下的一个方法。你首先要知道 StringTokenizer 是干什么用的。
			StringTokenizer 用来分割字符串,你可以指定分隔符,比如',',或者空格之类的字符。nextToken() 用于返回下一个匹配的字段。
			-----------------------
				给你一个Demo:
				import java.util.StringTokenizer;
				public class Demo {
        			public static void main (String args[]) {
                			String str = "Hello, world";
                			StringTokenizer st = new StringTokenizer(str, ",");    // 用逗号分隔
             			while (st.hasMoreTokens())    // 判断是否已经到结尾
                 			System.out.println(st.nextToken());    // 打印下一个字段
     				}
				}
				----------------------
				结果:
				Hello
				world
           */
          public static class FindReducer extends Reducer<Text,Text,Text,Text> {                          
                        public void reduce(Text key, Iterable<Text> values, 
                                        Context context) throws IOException, InterruptedException {
                                  String  commonfriends =""; 
                              for (Text val : values) {
                                  if(commonfriends == ""){
                                          commonfriends = val.toString();
                                  }else{
                                          commonfriends = commonfriends+":"+val.toString();
                                  }
                               }
                              context.write(key, new Text(commonfriends));                                
                        }                          
          }
          


        @SuppressWarnings("deprecation")
		public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException {
                
            Configuration conf = new Configuration();
            String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
            /*
             	比如运行命令为:bin/hadoop dfs -fs master:8020 -ls /data
				GenericOptionsParser把  -fs master:8020配置到配置conf中
				而getRemainingArgs()方法则得到剩余的参数,就是 -ls /data。供下面使用输入输出参数
             */
            if (otherArgs.length < 2) {
              System.err.println("args error");
              System.exit(2);
            }
            Job job = new Job(conf, "word count");
            job.setJarByClass(FindFriend.class);
            job.setMapperClass(ChangeMapper.class);
            job.setCombinerClass(FindReducer.class);
            job.setReducerClass(FindReducer.class);
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(Text.class);
            for (int i = 0; i < otherArgs.length - 1; ++i) {
              FileInputFormat.addInputPath(job, new Path(otherArgs[i]));
            }
            FileOutputFormat.setOutputPath(job,new Path(otherArgs[otherArgs.length - 1]));
            System.exit(job.waitForCompletion(true) ? 0 : 1);
                
        }
    /*
  	GenericOptionsParser 命令行解析器
	是hadoop框架中解析命令行参数的基本类。它能够辨别一些标准的命令行参数,能够使应用程序轻易地指定namenode,jobtracker,以及其他额外的配置资源
    */
}



0
0
查看评论

优酷 Java笔试题(摘要)

优酷土豆package com.java;class HelloA { public HelloA() { System.out.println("HelloA"); } { System.out.println("...
  • zly9923218
  • zly9923218
  • 2016-04-23 22:43
  • 534

京东/优酷IOS面试题

京东,优酷的IOS开发面试题,配有答案。
  • jiang314
  • jiang314
  • 2016-05-26 17:41
  • 7257

在优酷的几道笔试题

一、求一个三十二位整数的二进制数中一的个数 int count_ones(unsigned a) {     a = (a & 0x55555555) + ((a >> 1) & 0x55555555); ...
  • cnsword
  • cnsword
  • 2007-07-03 19:57
  • 4422

Youku iOS笔试题

为了在收到反馈后统一修正,只放出链接!http://www.henishuo.com/youku-interview-one/
  • woaifen3344
  • woaifen3344
  • 2016-03-14 18:38
  • 922

如何让优酷播放器自动播放

如何让优酷播放器自动播放http://player.youku.com/player.php/sid/XNTIwODQ1NTY4/v.swf"  width="980" height="500" type="application...
  • forest_fire
  • forest_fire
  • 2016-03-21 11:06
  • 1192

优酷视频API

new YKU.Player
  • GodYakhoo
  • GodYakhoo
  • 2017-04-24 14:31
  • 1439

用wireshark抓包IOS优酷app

用Chrales发现无法抓IOS优酷app包,猜测优酷app应该是用的tcpsocekt的方式。装wireshark验证一下 1、安装wireshark(因为X11的关系搞了半天没搞定,最后Tiger给了一个开发版的安装包,支持中文,也含x11,搞定) 2、用mac连接有线,在“设置”中选择“共...
  • charleslei
  • charleslei
  • 2015-11-02 17:11
  • 1751

关于为何《优酷视频使用http协议,而不是使用Rtmp协议呢》的回答

在水木社区看到这样一篇帖子: http://www.newsmth.net/nForum/#!article/VideoCoding/26094 回答如下: 【 在 ohcabinet 的大作中提到: 】  Flash Video content delivered...
  • benjamin721
  • benjamin721
  • 2015-10-31 22:08
  • 1145

优酷视频播放接口解析

小编为大家整理了优酷视频解析的一些方法,这些均来自互联网网友,具体需要大家自己去摸索和实践哈
  • dianliang01
  • dianliang01
  • 2017-06-14 16:03
  • 977

调用优酷视频播放器APi代码

调用优酷视频播放器APi 调用优酷视频播放器APi player = new YKU.Player('youkuplayer',{ styleid: '0', client_id: 'YOUR YOUKUOPENAPI CLIENT_I...
  • boyit0
  • boyit0
  • 2016-11-11 09:46
  • 546
    个人资料
    • 访问:520832次
    • 积分:8940
    • 等级:
    • 排名:第2534名
    • 原创:338篇
    • 转载:161篇
    • 译文:0篇
    • 评论:40条
    个人简介
    说明:小青年在奋斗中
          一个爱学习的小菜鸟。。。

    专业:养猪
    年级:小学未毕业
    所在地:村头干活那小伙就是我~
    姓名:鲍礼彬

    QQ号:
    257-8858-653

    呵呵哒
    么么哒

    QQ交谈


    点击这里给我发QQ消息

    点击图片可以与我QQ交谈



    博客专栏