spark
dong-123456
个人熟悉的技术有微服务springcloud+多平台应用UNI-APP+容器DOCKER+前端VUE+大数据spark系列等;
全面记录系统建设过程,方便查阅参考,以实战为主,有空再写设计算法源码等方面;
与大家共同交流进步
展开
-
大数据系列-SPARK-STREAMING流数据receiver
大数据系列-SPARK-STREAMING流数据receiverpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.receiver.Receiverimport org.apache.spark.streaming.{Seconds, StreamingContext}import sca原创 2022-03-20 21:13:56 · 881 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据queue
大数据系列-SPARK-STREAMING流数据queuepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import scala.collection.mutableobject SparkStreamingQueue { def main(args:原创 2022-03-20 21:10:14 · 1997 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据transform
package com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态函数transform//用于DSTREAM转换RDD增加功能//用于周期执行object SparkStreaming原创 2022-03-20 21:06:59 · 1010 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据state
大数据系列-SPARK-STREAMING流数据statepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态state函数updateStateByKeyobject S原创 2022-03-20 21:02:12 · 1577 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据window
大数据系列-SPARK-STpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//windowobject SparkStreamingWindow { def main(原创 2022-03-20 20:58:36 · 1550 阅读 · 0 评论 -
大数据系列篇-SPARK-SQL读写数据源
知识点记录-SPARK-SQL读写数据源package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSession}//练习read-write数据源object SparkSqlRw { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName(原创 2022-02-20 19:51:36 · 901 阅读 · 0 评论 -
大数据系列篇-SPARK-SQL用户定义聚合函数
大数据系列-SPARK-SQL用户定义聚合函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.{Aggregator, MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{DataType, LongType, StructField, Str原创 2022-02-20 19:37:28 · 949 阅读 · 0 评论 -
大数据系列篇-SPARK-SQL用户定义函数
知识点记录-SPARK-SQL用户定义函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//用户定义函数object SparkSqlUdf { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("练习SparkSqlUdf").se原创 2022-02-20 19:30:42 · 290 阅读 · 0 评论 -
大数据系列篇-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换
知识点记录-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//测试sql与dsl与转换RDD <-> DATAFRAME <-> DATASETobject SparkSql { def main(args: Array[String]): Uni原创 2022-02-20 19:23:52 · 821 阅读 · 0 评论