- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 struct streaming自定义MysqlSink组件
1.项目所用jar包<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql-kafka-0-10_2.11</artifactId> <version>${spark.version}</versi...
2019-06-27 16:39:17 415
转载 Struct Streaming的流-流连接
流 - 流连接的案例:广告货币化想象一下,您有两个流 - 一个广告展示流(即,向用户显示广告时)和另一个广告点击流(即,当用户点击显示的广告时)。要通过广告获利,您必须匹配导致点击的广告展示。换句话说,您需要根据公共密钥加入这些流,公共密钥是两个流的事件中存在的每个广告的唯一标识符。在高级别,问题如下所示。虽然这在概念上是一个简单的想法,但仍有一些核心技术挑战需要克服。使用缓冲处理延迟/延...
2019-06-27 16:30:35 1190
原创 运行struct streaming报错
运行struct streaming报错Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'timewindow(timestamp, 10000000, 5000000, 0)' due to data type mismatch: argument 1 requires time...
2019-06-24 10:02:20 447
原创 Struct streaming +kafka 时间窗操作
import java.sql.Timestampimport org.apache.spark.sql.streaming.OutputModeimport org.apache.spark.sql.{DataFrame, Dataset, SparkSession}object StructStreamingWindows { def main(args: Array[String...
2019-06-24 09:59:41 1074 3
HIERARCHICAL CLUSTERING SCHEMES
2018-10-29
聚类原始数据集
2018-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人