![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
dong-123456
个人熟悉的技术有微服务springcloud+多平台应用UNI-APP+容器DOCKER+前端VUE+大数据spark系列等;
全面记录系统建设过程,方便查阅参考,以实战为主,有空再写设计算法源码等方面;
与大家共同交流进步
展开
-
大数据系列-SPARK-STREAMING流数据receiver
大数据系列-SPARK-STREAMING流数据receiverpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.receiver.Receiverimport org.apache.spark.streaming.{Seconds, StreamingContext}import sca原创 2022-03-20 21:13:56 · 875 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据queue
大数据系列-SPARK-STREAMING流数据queuepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import scala.collection.mutableobject SparkStreamingQueue { def main(args:原创 2022-03-20 21:10:14 · 1988 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据transform
package com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态函数transform//用于DSTREAM转换RDD增加功能//用于周期执行object SparkStreaming原创 2022-03-20 21:06:59 · 1007 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据state
大数据系列-SPARK-STREAMING流数据statepackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//有状态state函数updateStateByKeyobject S原创 2022-03-20 21:02:12 · 1574 阅读 · 0 评论 -
大数据系列-SPARK-STREAMING流数据window
大数据系列-SPARK-STpackage com.testimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}import org.apache.spark.streaming.{Seconds, StreamingContext}//windowobject SparkStreamingWindow { def main(原创 2022-03-20 20:58:36 · 1544 阅读 · 0 评论 -
知识点记录-使用kafka
知识点记录-使用kafka目录package com.testimport org.apache.kafka.clients.producer._import org.apache.kafka.common.Clusterimport java.utilimport java.util.Properties//测试KAFKAobject SparkKafka { def main(args: Array[String]): Unit = { //设置基本参数 v原创 2022-03-06 18:36:59 · 1672 阅读 · 0 评论 -
大数据系列篇-SPARK-SQL读写数据源
知识点记录-SPARK-SQL读写数据源package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.{SaveMode, SparkSession}//练习read-write数据源object SparkSqlRw { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName(原创 2022-02-20 19:51:36 · 895 阅读 · 0 评论 -
大数据系列篇-SPARK-SQL用户定义聚合函数
大数据系列-SPARK-SQL用户定义聚合函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.{Aggregator, MutableAggregationBuffer, UserDefinedAggregateFunction}import org.apache.spark.sql.types.{DataType, LongType, StructField, Str原创 2022-02-20 19:37:28 · 947 阅读 · 0 评论 -
大数据系列篇-SPARK-SQL用户定义函数
知识点记录-SPARK-SQL用户定义函数package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//用户定义函数object SparkSqlUdf { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setAppName("练习SparkSqlUdf").se原创 2022-02-20 19:30:42 · 287 阅读 · 0 评论 -
大数据系列篇-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换
知识点记录-spark-sql使用SQL加DSL方式与RDD-DATAFRAME-DATASET转换package com.testimport org.apache.spark.SparkConfimport org.apache.spark.sql.SparkSession//测试sql与dsl与转换RDD <-> DATAFRAME <-> DATASETobject SparkSql { def main(args: Array[String]): Uni原创 2022-02-20 19:23:52 · 815 阅读 · 0 评论 -
基础架构系列篇-基于win10安装SPARK3与HADOOP环境
基础架构系列篇-基于win10安装SPARK3与HADOOP环境(这里版本是 spark-3.1.2 hadoop-3.2.0)目录1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)2.下载安装hadoop (按SPARK版本选择)3. 测试查看1. 下载安装spark (这里版本是 spark-3.1.2-bin-hadoop3.2.tgz)地址: http://spark.apache.org/downloads.htmlhttps://dow原创 2022-02-20 09:27:13 · 546 阅读 · 1 评论 -
知识点记录-SCALA语言
知识点记录-SCALA语言目录//package import// 注释// 变量// 访问修饰符// 作用域// 运算符// 循环// yeild// break// 方法与函数// 默认参数// 高阶函数// 可变参数// 递归函数// 内嵌函数// 匿名函数// 偏函数// 柯里化函数// 闭包// 数组// 集合// 文件// 异常// regex// 模式匹配//package importpackage com.scalaimport java.io._import java.u原创 2022-01-28 21:22:01 · 371 阅读 · 0 评论 -
大数据系列篇-SPARK与SCALA(待更新)
大数据系列篇-JAVA与scala基础原创 2022-01-02 22:51:36 · 1037 阅读 · 0 评论 -
知识点记录(用于大数据)-系统WIN10安装SCALA环境并使用IDEA测试
知识点记录(用于大数据)-系统WIN10安装SCALA环境并使用IDEA测试目录1. 下载安装JDK8或JDK11(LTS版本)2. 下载SCALA安装包并安装与设置环境变量(这里用的是JDK8与SCALA2.12.15)3. 使用IDEA测试1. 下载安装JDK8或JDK11(LTS版本)略2. 下载SCALA安装包并安装与设置环境变量(这里用的是JDK8与SCALA2.12.15)关于JDK与SCALA的兼容版本https://docs.scala-lang.org/overviews/jd原创 2021-11-26 20:40:44 · 2445 阅读 · 1 评论 -
大数据SPARK系列篇-1个经典的实例(基于SCALA语言的单词统计功能)
大数据系列篇-1个示例入门大数据原创 2021-11-07 18:25:12 · 1744 阅读 · 1 评论 -
大数据系列篇(待更新)
大数据系列篇原创 2021-03-21 11:10:47 · 164 阅读 · 0 评论