SparkSQL
文章平均质量分 69
_水木_
如果你简单 这个世界就对你简单
展开
-
SparkSQL中UDF和UDAF
UDF: User Defined Function,用户自定义的函数,函数的输入是一条具体的数据记录,实现上讲就是普通的Scala函数; UDAF:User Defined Aggregation Function,用户自定义的聚合函数,函数本身作用于数据集合,能够在聚合操作的基础上进行自定义操作; 实质上讲,例如说UDF会被Spark SQL中的Catalyst封装成为Expression原创 2016-08-17 09:33:23 · 7134 阅读 · 0 评论 -
SparkSQL中的内置函数
使用Spark SQL中的内置函数对数据进行分析,Spark SQL API不同的是,DataFrame中的内置函数操作的结果是返回一个Column对象,而DataFrame天生就是"A distributed collection of data organized into named columns.",这就为数据的复杂分析建立了坚实的基础并提供了极大的方便性,例如说,我们在操作DataFr原创 2016-08-15 07:24:23 · 13347 阅读 · 1 评论 -
通过JDBC访问ThriftServer
通过JDBC访问Thrift Server,进而访问Spark SQL,进而访问Hive String sql = "select name from test where age = ?"; String sql = "select name from test where age = ?"; Connection conn = null; ResultSet resultSe原创 2016-08-30 08:42:22 · 1344 阅读 · 0 评论