![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
GamblingTrailer
这个作者很懒,什么都没留下…
展开
-
spark rdd根据key保存进不同的文件夹
1、首先rdd必须是(key,value)形式。本例中是根据createTimeStr作为key. 这个值是yyyy-MM-dd形式val mrdd = ds.map(x => { val jsonObject = JSON.parseObject(x._2) //2017-07-18 14:16:13 val createTimeStr...转载 2019-11-07 13:44:18 · 588 阅读 · 0 评论 -
Spark SQL中外连接查询中的谓词下推规则
SparkSqlSparkSql是架构在spark计算框架之上的分布式Sql引擎,使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理,提供的DSL可以直接使用scala语言完成sql查询,同时也使用thrift server提供服务化的Sql查询功能。SparkSql提供了Data Source API,用户通过这套API可以自己开发一套Connector,直...转载 2019-11-07 10:25:53 · 215 阅读 · 0 评论