BigData
_VvoovV_
_VvoovV_
展开
-
Spark SQL常用函数 函数分类及其简介
Spark SQL函数一、概述1、来源:本文总结自spark 2.3.1 API文档 org.apache.spark.sql:object functions;2、使用:org.apache.spark.sql.functions中提供了约两百多个函数,大部分函数与Hive中类似,除UDF函数,均可在SparkSQL中直接使用;如果想要用于Dataframe 和 Data...原创 2019-11-27 15:11:06 · 8918 阅读 · 0 评论 -
Spark学习笔记--超全,所有知识点全覆盖总结
Spark架构,运行原理,任务调度和资源调度分析,内存管理分析,SparkSQL,SparkSreaming与kafaka,数据倾斜的解决,调优。Spark简介Spark是美国加州大学伯克利分校的AMP实验室(主要创始人lester和Matei)开发的通用的大数据处理框架。Apache Spark™ is a fast and general engine for large-s...原创 2019-06-14 14:08:49 · 1868 阅读 · 0 评论