- 博客(4)
- 收藏
- 关注
RSS订阅转载 spark rdd根据key保存进不同的文件夹
1、首先rdd必须是(key,value)形式。本例中是根据createTimeStr作为key. 这个值是yyyy-MM-dd形式 val mrdd = ds.map(x => { val jsonObject = JSON.parseObject(x._2) //2017-07-18 14:16:13 val createTimeStr...
2019-11-07 13:44:18
594
转载 Spark SQL中外连接查询中的谓词下推规则
SparkSql SparkSql是架构在spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL可以直接使用scala语言完成sql查询，同时也使用thrift server提供服务化的Sql查询功能。SparkSql提供了Data Source API，用户通过这套API可以自己开发一套Connector，直...
2019-11-07 10:25:53
219
转载 求字符串集合中的最长公共前缀(java递归和非递归实现)
需求:java代码实现求一个字符串集合中的最长公共前缀 比如一个集合有三个字符串AbcA,AbG,AbcD,求他们最长公共前缀就是Ab *方法一:*非递归,时间复杂度为o(n) package com.demo.test; import java.util.ArrayList; import java.util.List; /** * 需求:java代码实现. * 一个集合有三个字符串...
2019-11-03 10:38:12
372
转载 数据仓库之拉链表（一） 概念理解
拉链表是针对数据仓库设计中表存储数据的方式而定义的，就是记录历史数据的每个状态，记录一个事物从开始，一直到当前状态的所有变化的信息；拉链表通常是对账户信息的历史变动进行处理保留的结果 使用场景： 数据量比较大; 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态， 比如...
2019-10-29 22:53:53
718
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人