2018年04月_JSON_ZJS

12月 10月 09月 07月 06月 05月 04月 03月 01月

原创 Spark SQL UDF2的使用

Spark SQL UDF2的使用继续之前的UDF1进行说明：UDF1博客地址点击打开链接与UDF1的区别在于两个参数：需求：获取文本中的两个数字计算每行中数字的和文本：1,12,23,34,45,56,67,78,89,910,10代码：package com.bynear.spark_sql;import jav

2018-04-27 16:10:52 1139

原创 Spark SQL 中UDF的讲解

Spark SQL 中UDF的讲解User Define Function, 用户自定义函数,简称UDF,存在与很多组件中。在使用Sparksql的人都遇到了Sparksql所支持的函数太少了的难处，除了最基本的函数，Sparksql所能支撑的函数很少，肯定不能满足正常的项目使用，UDF可以解决问题。SparkSQL中的UDF相当于是1进1出，UDAF相当于是多进一出，类似

2018-04-26 19:50:30 843

原创 Spark SQL 开窗函数row_number的使用

Spark SQL 开窗函数row_number的使用窗口函数 row_number即为分组取topN参考文本：型号类别销售量/月小米,手机,250华为,手机,450苹果,手机,1000三星,手机,2500小米Pro,笔记本,1500苹果Pro,笔记本,

2018-04-26 11:33:50 5427

原创 SparkSQL 内置函数的使用（JAVA与Scala版本）

SparkSQL 内置函数的使用（JAVA与Scala版本）agg的使用（根据时间，去重id相同，统计相同时间内的id个数）Scala版本！package com.bynear.Scalaimport org.apache.spark.sql.functions._import org.apache.spark.sql.types.{IntegerType, StringTy

2018-04-25 15:52:55 1251

原创 SparkContext源码分析

SparkContext源码分析粗略的说明一下SparkContext源码！createTaskScheduler（）针对不同的提交模式，执行不同的方法（local，standalone、yanr等）standalone模式===》》创建一个TaskSchedulerImpl1、底层通过操作SchedulerBackend，针对不同种类的cluster（stand

2018-04-01 14:28:41 188