简单的map-reduce的java例子

需求是去除一个key为long型,value为元素为integer的list的map的value的值。


public class test1 {
  public static void main(String[] args) {
    Map<Long, Integer> map = Maps.newHashMapWithExpectedSize(5);
    map.put(1l, Objects.hashCode(Lists.newArrayList(1, 2, 3)));
    map.put(2l, Objects.hashCode(Lists.newArrayList(2, 3, 4)));
    map.put(3l, Objects.hashCode(Lists.newArrayList(1, 2, 3)));
    map.put(4l, Objects.hashCode(Lists.newArrayList(1, 2, 5)));
    map.forEach((k, v) -> System.out.println(k + " - " + v));
    System.out.println("---------------------------------");
    System.out.println(
        map.entrySet().stream().collect(groupingBy(Map.Entry::getValue))
            .values().stream()
            .map(v -> v.get(0).getKey()).collect(Collectors.toList())
    );
    System.out.println("---------------------------------");
    System.out.println(
        map.entrySet().stream().collect(groupingBy(Map.Entry::getValue)).values().stream()
            .map(e -> e.stream().reduce((e1, e2) -> e1).get().getKey()).collect(Collectors.toList()));
  }
}

这里使用java8的编码风格:
1.首先初始化一个key为long型,value为list型的map
2.代码是分为两种处理方式,一种map操作之后,输出去除重复的key值,第二种是map操作后,进行reduce操作后输出去处重复的key值。
3.首先取得map的entryset的流,然后接入一个收集器,收集器里面进行groupingBy操作,groupingBy是java8的方法,以map的value分组,把map重新输出为里一个map,新map的key为旧map的不重复value,新map的value是和当前新map的key值对应旧map的key的list,有点绕。这样新map的每个元素的value就是不重复的值的key,对应代码中就是(1,2,3)的1l和3l。然后我们取每个新map的value的任意一个值即可。
4.取得新map的values,做成流,取每个元素的第一个值,收集成list,就是去除重复的旧map的key值。
5.通过reduce方式,在取得新map的values后做成流在map操作里,调用reduce操作,查看reduce源码可见,传入的参数是一个二元操作符,如下打开的java8的lambda表达式。二元操作传入两个同样类型的变量,输出一个同样类型的返回值。这里的二元操作就是传入e1,e2,然后返回e1,很简单的逻辑。当然这里的逻辑也可以返回e2,因为是任意选一个元素返回即可。

System.out.println(
        map.entrySet().stream().collect(groupingBy(Map.Entry::getValue)).values().stream()
            .map(e -> {
              return e.stream().reduce(new BinaryOperator<Map.Entry<Long, Integer>>() {
                @Override
                public Map.Entry<Long, Integer> apply(Map.Entry<Long, Integer> e1, Map.Entry<Long, Integer> e2) {
                  return e1;
                }
              }).get().getKey();
            }).collect(Collectors.toList()));
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔: 1 zhangsan 2 lisi 3 wangwu 3)将测试数据data上传到linux目录下,我放置在:/home/hadoop01/data 2、在使用 JDBC 开发 Hive 程序时, 必须首先开启 Hive 的远程服务接口。使用下面命令进行开启: Java代码 收藏代码 hive --service hiveserver >/dev/null 2>/dev/null & 我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。   Hive提供了jdbc驱动,使得我们可以用Java代码来连接Hive并进行一些类关系型数据库的sql语句查询等操作。同关系型数据库一样,我们也需要将Hive的服务打开;在Hive 0.11.0版本之前,只有HiveServer服务可用,你得在程序操作Hive之前,必须在Hive安装的服务器上打开HiveServer服务,如下: 1 [wyp@localhost/home/q/hive-0.11.0]$ bin/hive --service hiveserver -p10002 2 Starting Hive Thrift Server 上面代表你已经成功的在端口为10002(默认的端口是10000)启动了hiveserver服务。这时候,你就可以通过Java代码来连接hiveserver,代码如下:
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值