![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
有何不可~
这个作者很懒,什么都没留下…
展开
-
Flink从实践到理论(scala):获取数据源
package com.baseimport java.util.{Properties, Random}import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.functions.source.SourceFunctionimport org.apache.flink.streaming.api.scala._import org.ap...原创 2021-07-19 10:22:30 · 115 阅读 · 0 评论 -
flink读取数据源的四种方式
object SourceDemo { def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment //数据来源 //1.从文件读取 val inpath="D:\\programs\\sparkPrograms\\F...原创 2020-02-28 22:40:16 · 3110 阅读 · 0 评论 -
传统的数据处理架构->流处理架构(Lambda架构->Kappa架构)
传统的数据处理架构类似于流式处理,来一个事件,立即做出响应,适用于关系型数据库,数据量较小的情况用Web程序来举例,用户点击了网页上的按钮后,会向服务器发起请求,后台立即做出响应,从数据库中查询对应的信息,进行计算,得到的结果,可能再存回数据库中,最后给用户做一个页面响应比如用户登录,用户填写用户名和密码之后,点击注册,后台做出响应,去数据库中查询,验证该用户是否存在,如果不存在就...原创 2020-02-28 22:42:43 · 1812 阅读 · 0 评论 -
flink初识
为什么选择flink?1.低延迟,毫秒级,每秒处理百万个事件 在实时处理这块,目前应用最多的是SparkStreaming,SparkStreaming虽然也是实时的,但是它采用的还是批处理的方式,它的思想是把批次做的足够小,当把一条数据当成一个批次时,就相当于时流式处理,但是批次设置的时间间隔为秒级,在一些极端的场景下,这种延迟是不能接受的,比如高铁的智能监控系统,差几秒可能就没...原创 2020-02-28 22:41:29 · 108 阅读 · 0 评论 -
Flink_WordCount
1.批处理方式(攒一批再处理,看到的是处理后的最终结果)import org.apache.flink.api.scala._object BatchWordCount { def main(args: Array[String]): Unit = { //创建执行环境 val env = ExecutionEnvironment.getExecutionEnviro...原创 2020-02-27 16:10:40 · 169 阅读 · 0 评论