![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据Flink技术
文章平均质量分 50
流处理技术
尘世壹俗人
做一只马喽
展开
-
Flink提交任务
Flink提交任务的方式有两种,第一种是自带的UI页面,但是这种提交方式很少有团队正式使用,因为这种方式的资源分配是按照task节点为单位运行并度的,一个并行度就要占用一个task节点,国内九成九的都是普通公司,不是大厂,根本用不起,这也是flink很少在国内使用的原因。第二种提交方式就是命令行模式,这种方式下就和UI提交是同源的,也可以提交给yarn。说白了就是国内使用flink时,也只是提交给了yarn,很少有公司有那个经济实力,直接把任务交给flink自身的jobmanager。原创 2022-11-03 16:57:23 · 5031 阅读 · 0 评论 -
Flink开发语言使用Java还是scala合适?
可问题就是先它一步的spark,已经早在2010年对外开源发布得到了很多的代码贡献,更是在2012年的时候就发布了0.6的第一个正式版,我们都知道一个道理,一步快步步快,所以spark在第一个正式版本发出以后,进入了更快的发展,2013年的时候成为了Apache基金会下的项目,并在同年研发出了机器学习、流处理,以及spark sql的前身shark,再到2014年的时候,正式发布了1.0版本,不只有了图计算,而且还开发出了spark sql,更是成为了Apache顶级项目。Scala还是Java?原创 2022-10-15 16:11:43 · 8052 阅读 · 5 评论 -
Flink批处理将数据写入Hbase
Flink写出通过自定义Sink实现pom如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http:/原创 2021-04-18 13:53:19 · 1453 阅读 · 5 评论 -
Flink批处理拉取mysql数据
Flink拉取Mysql数据通过自定义Source实现,下面给大家看一下怎么写pom如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache原创 2021-04-18 12:53:09 · 1164 阅读 · 0 评论 -
Flink流处理接收Kafka数据
Flink接收Kafka数据是用了自定义数据源的方法,同时Flink接收kafka数据要注意Kafka版本,不同的版本调用的Kafka整合API也不一样,不过后期为了方便,确实有一个自动识别Kafka版本的API,但是我遗失了这个API的资料,后期找到了,在补上pom如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=原创 2021-04-18 12:47:50 · 1270 阅读 · 0 评论 -
Flink流处理如何自定义Source
Flink支持自定义数据源,下面我给大家准备一个Flink自定义数据源实现每隔一秒发送一条数据pom如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave原创 2021-04-18 12:41:40 · 330 阅读 · 0 评论 -
Flink是什么
Flink是一个专注于流处理的框架,它相比较与spark的流式处理,flink的延迟更短,时间颗粒度更细,且flink也是使用scala语言编写但注意flin只是专注于流式计算,并不是说不可以做离线计算,它的离线计算和spark的差不多,但是它的在线计算,摒弃了spark的很多缺点,如spark通常情况下要依赖于开窗时间和滑动时间来进行一批一批的处理数据,无法做到真正的流式处理,且不同批次的结果想要累加或者一起计算则需要两个状态更细的开窗方法,而flink则没有这种限制,它是真正意义上的流式处理可以从负无原创 2021-04-18 12:30:59 · 534 阅读 · 3 评论