weixin_45687351的博客

saprk的udtf函数一列转多列应用需求：查分outresult字段生成多个列代码：1.udtf部分import com.alibaba.fastjson.JSONException;import org.apache.commons.lang3.StringUtils;import org.apache.hadoop.hive.ql.exec.UDFArgumentException;import org.apache.hadoop.hive.ql.exec.UDFArgumentLeng

##利用朴素贝叶斯算法来预测明星出轨概率package cn.doitedu.ml.bayesimport org.apache.spark.ml.linalg.Vectorsimport cn.doitedu.commons.util.SparkUtilimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql....

import cn.doitedu.commons.util.SparkUtilimport org.apache.spark.ml.linalgimport org.apache.spark.ml.linalg.{Vector, Vectors}import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}object Kn...

函数 + over()over() :开窗口1.Row_Number,Rank，Dense_Rank 这三个窗口函数的使用场景非常多1.1 row_number()对分区内的数据排序,多出来一列数据,从1到分区结尾多用来求 连续天数,会用到date_sub函数例子:– 求有连续4天销售记录的店铺1)select*,row_number() over(partition b...

1. agent: 核心的角色2. Event：flume内部数据传输的封装形式3. Transaction：事务控制机制4. 拦截器5. 选择器

一. SQL风格操作核心要义：将DataFrame 注册为一个临时视图view，然后就可以针对view直接执行各种sql临时视图有两种：session级别视图，global级别视图；session级别视图是Session范围内有效的，Session退出后，表就失效了；全局视图则在application级别有效；注意使用全局表时需要全路径访问：global_temp.people// ap...

在Spark SQL中SparkSession是创建DataFrames和执行SQL的入口创建DataFrames有三种方式：(1) 从一个已存在的RDD进行转换(2) 从JSON/Parquet/CSV/ORC/JDBC等结构化数据源直接创建(3) 从Hive Table进行查询返回核心:创建DataFrame，需要创建 “RDD + 元信息schema定义”rdd来自于数据...