2019年12月_疯狂呼呼呼

12月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Spark Streaming中foreachRDD算子使用详解

前言foreachRDD算子会将DStream中的RDD里的数据给写到外部的系统中去；需要注意一点的是，这个函数将会被执行在driver进程当中，而从driver端到executor端必然会涉及到序列化的问题，在本篇文章中将进行详细介绍官网文档：http://spark.apache.org/docs/latest/streaming-programming-guide.html#design...

2019-12-29 15:50:31 1097

原创 Spark Streaming中状态算子的使用

流处理中状态的概念流处理中，有个状态（state）的概念：无状态的：当前批次处理完之后，数据只与当前批次有关有状态的：前后批次的数据处理完之后，之间是有关系的官网的介绍：http://spark.apache.org/docs/latest/streaming-programming-guide.html#updatestatebykey-operationupdateStateB...

2019-12-22 04:06:49 1052 1

原创 Spring Boot基本使用

平台岗日常开发离不开Spring Boot，写篇文章记录Spring Boot入门的一些基本操作Spring Boot介绍Spring Boot和Sping MVC的关系Spring Boot是Spring MVC的升级版，两者没有必然的联系；在学习Spring Boot之前没有必要拥有Spring MVC的基础Spring Boot的特点化繁为简，简化配置最大的特点就是可以让...

2019-12-03 01:51:45 641