静远小和尚的博客

原文链接;https://www.toutiao.com/i6860816918333358595/本文主要从以下几个方面介绍Flink流处理API——State API (状态管理)一、 状态管理 Flink中的状态 A. 算子状态： B. 键控状态（Keyed State）-- 更常用 C. 状态后端（State Backends） -- 状态管理（存储、访问、维护和检查点） 二、 状态编程版本：scala：2.11.12Kafka：0.8.2.2

原文链接：https://www.toutiao.com/i6860721527952769539/本文主要从以下几个方面介绍Flink流处理API——ProcessFunction API (底层API)一、产生背景二、KeyeProcesFunction三、TimerService和定时器（Timers）四、侧输出流（SideOutPut）五、CoProcessFunction版本：scala：2.11.12Kafka：0.8.2.2Flink：1.7.2.

原文链接：https://www.toutiao.com/i6859649771255104012/本文主要从以下几个方面介绍Flink流处理API——window(窗口) API一、window概念二、window类型三、windowAPI 的Demo四、时间语义五、设置事件创建时间（Event Time）六、水位线（Watermark）七、watermark的API版本：scala：2.11.12Kafka：0.8.2.2Flink：1.7.2pom.

原文链接：https://www.toutiao.com/i6859235904779715076/本文主要从以下几个方面介绍Flink的流处理API——Sink一、输出到Kafka二、输出到Redis三、输出到MySQL数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink其中Source部分可以参考这篇：Flink流处理API——SourceFlink 没有类似于 s

原文链接：https://www.toutiao.com/i6859612664646238724/本文主要从以下几个方面介绍Flink的流处理API——Transform一、map二、flatmap三、Filter四、KeyBy五、滚动聚合算子（Rolling Aggregation）六、Reduce七、Split和Select八、Connect和CoMap九、Union数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。这

原文链接：https://www.toutiao.com/i6859232281211437581/本文主要从以下几个方面介绍Flink的流处理API——Source一、从集合中读取数据二、从文件中读取数据三、从Kafka中读取数据四、自定义Source数据处理的过程基本可以分为三个阶段分别是，数据从来哪里，做什么业务逻辑，落地到哪里去。这三部分在Flink中分别被称为Source、Transform和Sink版本：scala：2.11.12Kafka：0.8.2.2

Flink从KAFKA中读取数据报以下错误：Failed to instantiate SLF4J LoggerFactoryReported exception:java.lang.NoClassDefFoundError: org/apache/log4j/LevelFlink版本：1.7.2KAFKA版本：0.8.2.2代码：package xxximport java.util.Propertiesimport org.apache.flink.api.com.

原文链接：https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6857894528381092364本文主要从以下几个方面介绍Flink的任务调度原理一、Flink运行时的组件二、TaskManger与Slots三、程序与数据流四、Flink的执行图五、Flink程序执行的并行度六、Flink程序任务链一、Flink运行时的组件Flink的运行组件Flink 运行时架构主要包括四个不同的组件，它们会在运

原文链接：https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=6855283208414560780本文主要从以下几个方面介绍SparkStreaming读取Kafka的两种方式:一、SparkStreaming简介二、Kafka简介三、Redis简介（可用于保存历史数据或偏移量数据）四、SparkStreaming读取Kafka数据的两种方式五、演示Demo一、SparkStreaming简介可以参考这篇文章：S

原文链接：https://www.toutiao.com/i6854892323239625227/本文主要从以下几个方面介绍Redis：一、什么是Redis二、Redis支持的五种数据类型三、Redis应用场景四、Redis特性五、Redis的持久化六、Redis的Demo一、什么是Redis它是一种 NoSQL（not-only sql，泛指非关系型数据库）的数据库！！！！（三个月前面试某团时居然回答不出NoSQL数据库有哪些。。。。。。。）Redis（Remot

原文链接：https://www.toutiao.com/i6854493461903901197/本文主要从以下几个方面介绍SparkStreaming:一、SparkStreaming是什么二、SparkStreaming支持的业务场景三、SparkStreaming的相关概念四、DStream介绍五、SparkStreaming的机制六、SparkStreaming的Demo一、SparkStreaming是什么在讲sparkStreaming是什么之前首先讲一下为

原文链接：https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6854137793556251147本文主要从以下几个方面介绍分布式发布订阅消息系统一、什么是Kafka二、kafka的特性三、kafka的使用场景四、kafka中相关术语介绍五、kafka相关机制六、kafka的Demo一、什么是kafkaKafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（rep

原文链接：https://mp.toutiao.com/profile_v3/graphic/preview?pgc_id=6849695183043297804本文主要从以下几个方面介绍Spark中的DataFrame读写和保存第一，DataFrame的介绍第二，Spark所支持的读写文件格式及示例第一，DataFrame的介绍DataFrame的前身是SchemaRDD，从Spark 1.3.0开始SchemaRDD更名为DataFrame。与SchemaRDD的主要区别是：Data

原文链接：https://www.toutiao.com/i6849246325343683083/从Spark2.0以上的版本开始，spark是使用全新的SparkSession接口代替Spark1.6中的SQLcontext和HiveContext来实现对数据的加载、转换、处理等工作，并且实现了SQLcontext和HiveContext的所有功能。我们在新版本中并不需要之前那么繁琐的创建很多对象，只需要创建一个SparkSession对象即可。SparkSession支持从不同的数据源

原文地址：https://www.toutiao.com/i6848607197815898628/本文主要从以下几个方面介绍SparkSQL中的DataFrame:第一，SparkSQL的作用第二，什么是DataFrame第三，DataFrame与RDD的区别第四，DataFrame的创建与使用 （Spark1.x与Spark2.x两种不同版本）第一，SparkSQL的作用SparkSQL是spark处理结构化数据的一个模块，它的前身是shark，与基础的spark RDD不同

原文链接：https://www.toutiao.com/i6846340200134607374/关于线程和线程池的学习，我们可以从以下几个方面入手：第一，什么是线程，线程和进程的区别是什么第二，线程中的生命周期第三，单线程和多线程第四，线程安全第五，为什么使用线程池第六，线程池原理第七，线程池的使用第一，什么是线程，线程和进程的区别是什么?线程，程序执行流的最小执行单位，是行程中的实际运作单位，经常容易和进程这个概念混淆。那么，线程和进程究竟有什么区别呢？首先，进

原文链接：https://www.toutiao.com/i6845585556722680328/在实际开发中经常需要对数据进行排序统计，Spark的sortBy以及SortByKEy算子并不能完全适用开发场景，需要我们自定义排序规则，例如如下数据：Array("张三 16 98.3", "李四 14 98.3", "王五 34 100.0", "赵六 26 98.2", "田七 18 98.2")包含三个字段的学生数据，（姓名，年龄，成绩），我们需要按照成绩进行降序排序，成绩相同的按照年龄

四种方法实现分组排序数据集格式：http://bigdata.edu360.cn/laoduanhttp://bigdata.edu360.cn/laoduanhttp://javaee.edu360.cn/xiaoxuhttp://javaee.edu360.cn/xiaoxuhttp://javaee.edu360.cn/laoyanghttp://javaee.edu360.cn/laoyanghttp://javaee.edu360.cn/laoyang按照每个学科求老师访