尝尝Blink

最新推荐文章于 2024-06-30 03:09:09 发布
最新推荐文章于 2024-06-30 03:09:09 发布
阅读量396 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dafei1288/article/details/99744547
版权

期待 Flink 1.9 整合 Flink 和 Blink 的版本。突然心血来潮，打算自己编一版 Blink 玩玩，这篇文章分为两个部分：

  1. 介绍如何编译Blink，这部分非常简单的入门

  2. 介绍一下，我关注blink的点

编译Blink

首先，clone仓库

https://github.com/apache/flink.git

切换到 Blink 分支

git checkout blink

看代码的话，墙裂推荐使用 VS Code , 管理 git 相当舒服

640?wx_fmt=png

开POM 注释掉，这个是为了避免编译失败

<module>flink-yarn-tests</module>
<module>flink-fs-tests</module>

如果你上网不够科学，加上阿里云的仓库吧

<repository>
	<id>maven-ali</id>
	<url>http://maven.aliyun.com/nexus/content/groups/public//</url>
	<releases>
		<enabled>true</enabled>
	</releases>
	<snapshots>
		<enabled>true</enabled>
		<updatePolicy>always</updatePolicy>
		<checksumPolicy>fail</checksumPolicy>
	</snapshots>
</repository>

执行编译

mvn clean install -Dmaven.test.skip -Dcheckstyle.skip -Dlicense.skip=true -Drat.ignoreErrors=true

经过漫长的等待

[INFO] Reactor Summary:
[INFO]
[INFO] force-shading ...................................... SUCCESS [  3.950 s]
[INFO] flink .............................................. SUCCESS [01:03 min]
[INFO] flink-annotations .................................. SUCCESS [  2.049 s]
[INFO] flink-shaded-hadoop ................................ SUCCESS [  0.103 s]
[INFO] flink-shaded-hadoop2 ............................... SUCCESS [ 12.594 s]
[INFO] flink-shaded-hadoop2-uber .......................... SUCCESS [ 14.808 s]
[INFO] flink-shaded-yarn-tests ............................ SUCCESS [ 13.040 s]
[INFO] flink-shaded-curator ............................... SUCCESS [  0.921 s]
[INFO] flink-test-utils-parent ............................ SUCCESS [  0.124 s]
[INFO] flink-test-utils-junit ............................. SUCCESS [  0.902 s]
[INFO] flink-metrics ...................................... SUCCESS [  0.124 s]
[INFO] flink-metrics-core ................................. SUCCESS [  3.522 s]
[INFO] flink-core ......................................... SUCCESS [ 15.602 s]
[INFO] flink-java ......................................... SUCCESS [  9.191 s]
[INFO] flink-queryable-state .............................. SUCCESS [  0.962 s]
[INFO] flink-queryable-state-client-java .................. SUCCESS [  3.069 s]
[INFO] flink-filesystems .................................. SUCCESS [  0.103 s]
[INFO] flink-hadoop-fs .................................... SUCCESS [  4.955 s]
[INFO] flink-metrics-dropwizard ........................... SUCCESS [  1.979 s]
[INFO] flink-runtime ...................................... SUCCESS [ 57.828 s]
[INFO] flink-optimizer .................................... SUCCESS [  3.709 s]
[INFO] flink-clients ...................................... SUCCESS [  3.399 s]
[INFO] flink-streaming-java ............................... SUCCESS [  8.376 s]
[INFO] flink-scala ........................................ SUCCESS [ 27.133 s]
[INFO] flink-examples ..................................... SUCCESS [  0.598 s]
[INFO] flink-examples-batch ............................... SUCCESS [ 16.918 s]
[INFO] flink-test-utils ................................... SUCCESS [  5.793 s]
[INFO] flink-state-backends ............................... SUCCESS [  0.108 s]
[INFO] flink-statebackend-rocksdb ......................... SUCCESS [  2.727 s]
[INFO] flink-libraries .................................... SUCCESS [  0.100 s]
[INFO] flink-cep .......................................... SUCCESS [  2.149 s]
[INFO] flink-java8 ........................................ SUCCESS [  2.744 s]
[INFO] flink-mapr-fs ...................................... SUCCESS [  2.738 s]
[INFO] flink-s3-fs-hadoop ................................. SUCCESS [ 17.525 s]
[INFO] flink-s3-fs-presto ................................. SUCCESS [ 19.891 s]
[INFO] flink-swift-fs-hadoop .............................. SUCCESS [ 17.337 s]
[INFO] flink-runtime-web .................................. SUCCESS [01:42 min]
[INFO] flink-connectors ................................... SUCCESS [  0.077 s]
[INFO] flink-hadoop-compatibility ......................... SUCCESS [  6.473 s]
[INFO] flink-yarn ......................................... SUCCESS [  8.879 s]
[INFO] flink-yarn-shuffle ................................. SUCCESS [  6.237 s]
[INFO] flink-tests ........................................ SUCCESS [  2.834 s]
[INFO] flink-streaming-scala .............................. SUCCESS [  8.994 s]
[INFO] flink-table-common ................................. SUCCESS [  1.497 s]
[INFO] flink-python ....................................... SUCCESS [  1.887 s]
[INFO] flink-service ...................................... SUCCESS [  0.696 s]
[INFO] flink-table ........................................ SUCCESS [01:58 min]
[INFO] flink-orc .......................................... SUCCESS [  2.527 s]
[INFO] flink-jdbc ......................................... SUCCESS [  1.426 s]
[INFO] flink-hbase ........................................ SUCCESS [  8.836 s]
[INFO] flink-hcatalog ..................................... SUCCESS [  6.174 s]
[INFO] flink-formats ...................................... SUCCESS [  0.102 s]
[INFO] flink-avro ......................................... SUCCESS [  3.269 s]
[INFO] flink-json ......................................... SUCCESS [  1.709 s]
[INFO] flink-metrics-jmx .................................. SUCCESS [  1.229 s]
[INFO] flink-connector-kafka-base ......................... SUCCESS [  5.958 s]
[INFO] flink-connector-kafka-0.8 .......................... SUCCESS [  6.160 s]
[INFO] flink-connector-kafka-0.9 .......................... SUCCESS [  6.833 s]
[INFO] flink-connector-kafka-0.10 ......................... SUCCESS [  5.851 s]
[INFO] flink-connector-kafka-0.11 ......................... SUCCESS [  9.838 s]
[INFO] flink-connector-elasticsearch-base ................. SUCCESS [  9.183 s]
[INFO] flink-connector-elasticsearch ...................... SUCCESS [ 11.425 s]
[INFO] flink-connector-elasticsearch2 ..................... SUCCESS [ 16.474 s]
[INFO] flink-connector-elasticsearch5 ..................... SUCCESS [ 12.188 s]
[INFO] flink-connector-rabbitmq ........................... SUCCESS [  1.235 s]
[INFO] flink-connector-twitter ............................ SUCCESS [  2.843 s]
[INFO] flink-connector-nifi ............................... SUCCESS [  1.557 s]
[INFO] flink-connector-cassandra .......................... SUCCESS [  3.526 s]
[INFO] flink-connector-filesystem ......................... SUCCESS [  2.506 s]
[INFO] flink-connector-hive ............................... SUCCESS [ 10.424 s]
[INFO] flink-examples-streaming ........................... SUCCESS [ 11.537 s]
[INFO] flink-examples-table ............................... SUCCESS [ 10.962 s]
[INFO] flink-queryable-state-runtime ...................... SUCCESS [  1.331 s]
[INFO] flink-end-to-end-tests ............................. SUCCESS [  0.097 s]
[INFO] flink-parent-child-classloading-test ............... SUCCESS [  0.978 s]
[INFO] flink-dataset-allround-test ........................ SUCCESS [  0.722 s]
[INFO] flink-datastream-allround-test ..................... SUCCESS [  1.591 s]
[INFO] flink-bucketing-sink-test .......................... SUCCESS [  1.795 s]
[INFO] flink-high-parallelism-iterations-test ............. SUCCESS [  7.251 s]
[INFO] flink-stream-stateful-job-upgrade-test ............. SUCCESS [  3.547 s]
[INFO] flink-local-recovery-and-allocation-test ........... SUCCESS [  2.437 s]
[INFO] flink-elasticsearch1-test .......................... SUCCESS [  4.130 s]
[INFO] flink-elasticsearch2-test .......................... SUCCESS [  3.037 s]
[INFO] flink-elasticsearch5-test .......................... SUCCESS [  6.161 s]
[INFO] flink-distributed-cache-via-blob-test .............. SUCCESS [  0.979 s]
[INFO] flink-gelly ........................................ SUCCESS [  3.699 s]
[INFO] flink-gelly-scala .................................. SUCCESS [ 10.951 s]
[INFO] flink-gelly-examples ............................... SUCCESS [  7.763 s]
[INFO] flink-sql-parser ................................... SUCCESS [ 21.362 s]
[INFO] flink-sql-client ................................... SUCCESS [  5.935 s]
[INFO] flink-ml ........................................... SUCCESS [ 31.070 s]
[INFO] flink-cep-scala .................................... SUCCESS [  5.978 s]
[INFO] flink-streaming-python ............................. SUCCESS [  5.429 s]
[INFO] flink-scala-shell .................................. SUCCESS [  6.886 s]
[INFO] flink-quickstart ................................... SUCCESS [  1.459 s]
[INFO] flink-quickstart-java .............................. SUCCESS [  0.978 s]
[INFO] flink-quickstart-scala ............................. SUCCESS [  0.433 s]
[INFO] flink-contrib ...................................... SUCCESS [  0.099 s]
[INFO] flink-connector-wikiedits .......................... SUCCESS [  1.367 s]
[INFO] flink-container .................................... SUCCESS [  0.634 s]
[INFO] flink-mesos ........................................ SUCCESS [ 12.866 s]
[INFO] flink-metrics-ganglia .............................. SUCCESS [  0.779 s]
[INFO] flink-metrics-graphite ............................. SUCCESS [  0.810 s]
[INFO] flink-metrics-prometheus ........................... SUCCESS [  1.382 s]
[INFO] flink-metrics-statsd ............................... SUCCESS [  0.788 s]
[INFO] flink-metrics-datadog .............................. SUCCESS [  0.563 s]
[INFO] flink-metrics-slf4j ................................ SUCCESS [  0.739 s]
[INFO] flink-kubernetes ................................... SUCCESS [  3.697 s]
[INFO] flink-docs ......................................... SUCCESS [  2.656 s]
[INFO] flink-dist ......................................... SUCCESS [ 57.941 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 16:20 min
[INFO] Finished at: 2019-04-25T21:35:28+08:00
[INFO] Final Memory: 442M/2717M
[INFO] ------------------------------------------------------------------------

终于编译好了。编译好的工程在 flink-dist 里，进入

flink-dist\target\flink-1.5.1-bin\flink-1.5.1\bin

执行

start-cluster.bat

稍微等待一下,web访问

http://localhost:8081/

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

关注点

  1. SQL/TableAPI

640?wx_fmt=png

首先，我们对 SQL engine 的架构做了较大的调整。提出了全新的 Query Processor（QP）， 它包括了一个优化层（Query Optimizer）和一个算子层（Query Executor）。这样一来，流计算和批计算的在这两层大部分的设计工作就能做到尽可能地复用。另外，SQL 和 TableAPI 的程序最终执行的时候将不会翻译到 DataStream 和 DataSet 这两个 API 上，而是直接构建到可运行的 DAG 上来，这样就使得物理执行算子的设计不完全依赖底层的 API，有了更大的灵活度，同时执行代码也能够被灵活的 codegen 出来。	

	
唯一的一个影响就是这个版本的 SQL 和 TableAPI 不能和 DataSet 这个 API 进行互相转换，但仍然保留了和 DataStream API 互相转换的能力（将 DataStream 注册成表，或将 Table 转成 DataStream 后继续操作）。未来，我们计划把 dataset 的功能慢慢都在 DataStream 和 TableAPI 上面实现。到那时 DataStream 和 SQL 以及 tableAPI 一样，是一个可以同时描述 bounded 以及 unbounded processing 的 API。	

除了架构上的重构，Blink 还在具体实现上做了较多比较大的重构。

首先，Blink 引入了二进制的数据结构 BinaryRow，极大的减少了数据存储上的开销以及数据在序列化和反序列化上计算的开销。

其次，在算子的实现层面，Blink 在更广范围内引入了 CodeGen 技术。由于预先知道算子需要处理的数据的类型，在 QP 层内部就可以直接生成更有针对性更高效的执行代码。Blink 的算子会动态的申请和使用资源，能够更好的利用资源，提升效率，更加重要的是这些算子对资源有着比较好的控制，不会发生 OutOfMemory 的问题。

此外，针对流计算场景，Blink 加入了 miniBatch 的执行模式，在 aggregate、join 等需要和 state 频繁交互且往往又能先做部分 reduce 的场景中，使用 miniBatch 能够极大的减少 IO，从而成数量级的提升性能。除了上面提到的这些重要的重构和功能点，Blink 还实现了完整的 SQL DDL，带 emit 策略的流计算 DML，若干重要的 SQL 功能，以及大量的性能优化策略。

有了上面提到的诸多架构和实现上的重构。Blink 的 SQL／tableAPI 在功能和性能方面都取得了脱胎换骨的变化。在批计算方面，首先 Blink batch SQL 能够完整地跑通 TPC-H 和 TPC-DS，且性能上有了极大的提升。

在扒代码的时候，在flink-libraries下发现了两个有意思的新工程，这股市是上面提到部分SQL解析相关的工程，日后可以研读一下

flink-sql-client
flink-sql-parser

  1. Zeppelin for Flink

为了提供更好的可视化和交互式体验，我们做了大量的工作让 Zeppelin 能够更好的支持 Flink。这些改动有些是在 Flink 上的，有些是在 Zeppelin 上的。在这些改动全部推回 Flink 和 Zeppelin 社区之前，大家可以使用这个 Zeppelin image (具体细节请参考 Blink 代码里的 docs/quickstart/zeppelin_quickstart.md) 来测试和使用这些功能。

这个用于测试的 Zeppelin 版本，首先很好地融合和集成了 Flink 的多种运行模式以及运维界面。使用文本 SQL 和 tableAPI 可以自如的查询 Flink 的 static table 和 dynamic table。此外，针对 Flink 的流计算的特点，这一版 Zeppelin 也很好地支持了 savepoint，用户可以在界面上暂停作业，然后再从 savepoint 恢复继续运行作业。

在数据展示方面，除了传统的数据分析界面，我们也添加了流计算的翻牌器和时间序列展示等等功能。为了方便用户试用，我们在这一版 zeppelin 中提供 3 个 built-in 的 Flink tutorial 的例子: 一个是做 Streaming ETL 的例子, 另外两个分别是做 Flink Batch, Flink Stream 的基础样例。

640?wx_fmt=png

zeppelin 一直是我非常欣赏的项目，最近一两年里，我总是在构想如何想把他运用到BI或其他领域的产品中，只是一直没能如愿，希望日后有机会能够完成这个心愿。

麒思妙想
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Window10下VS2019编译 Chromium
山中传奇工作室
03-31 1491
按照官方的操作说明（https://bitbucket.org/chromiumembedded/cef/wiki/MasterBuildQuickStart.md#markdown-header-windows-setup）编译会出现不少问题 1、首先如果安装的是版本的（Python 3.0以上），在调用（create.bat）生成工程会有一个接口报错，编译会被阻塞 unicode("", "utf-8")这个函数在python 3.0版本已经被废除了，因此需要切换道python 2.7才能编译通过，
blink for ESP8266
12-31
blink for ESP8266
windows下面编译blink/blink/ chromium 浏览器
探秘
03-23 4545
reference： http://dev.chromium.org/developers/how-tos/get-the-code 1， 下载 depot_tools WINDOWS Download the depot_tools bundle and extract it somewhere. Warning DO
Blink 源码编译
我是小坏
06-25 2390
参考：http://fetching118.com/article/5.html 帮助文档:http://fetching118.com/blink_doc/quickstart/scala_shell_quickstart.html 1、 从GitHub 官网下载Blink源码 https://codeload.github.com/apache/flink/zip/blink 2...
flink/blink源码编译
qq_34158117的博客
07-29 461
flink github地址： git clone git@github.com:apache/flink.git 默认master分支是flink 如果想编译blink需切换分支：git checkout blink 编译源码： mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true ..
Blink学习（一）：运行状态管理
Path
07-21 1986
Blink是一个非常优秀的流处理任务开发框架，相对于之前的jstorm开发框架，它最显著的特点是具备非常完备的状态管理体系，解决了流处理任务中让人非常头疼的“保证EXACTLY ONCE的错误断点恢复”问题。下面着重梳理下blink是如何进行状态管理的。 1 Checkpoint Barrier 在处理数据流时，定期插入checkpoint barrier，当一个计算节点收到checkpoin...
尝尝Blink(1)
2401_83916355的博客
04-21 602
其他的内容都可以按照路线图里面整理出来的知识点逐一去熟悉，学习，消化，不建议你去看书学习，最好是多看一些视频，把不懂地方反复看，学习了一节视频内容第二天一定要去复习，并总结成思维导图，形成树状知识网络结构，方便日后复习。这里还有一份很不错的《Java基础核心总结笔记》，特意跟大家分享出来目录：部分内容截图：《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！习了一节视频内容第二天一定要去复习，并总结成思维导图，形成树状知识网络结构，方便日后复习。
手动编译 Flink 1
2401_86089034的博客
06-30 358
小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！如果你需要这些资料，⬅专栏获取env-devtarget-envdev–>
手动编译 Flink 1.9 踩坑实录
麒思妙想
07-24 2555
大家期盼已久的1.9已经剪支有些日子了，兴冲冲的切换到跑去编译，我在之前的文章《尝尝Blink》里也介绍过如何编译，本文只针对不同的地方以及遇到的坑做一些说明，希望对遇到...
软件开发中的理性和感性决定
热门推荐
SoftwareTeacher的专栏
01-11 1万+
我们开发软件，当然希望用户喜欢，并持续为我们的软件付钱。CSDN 这个 “软件” （网站，app，开发云、猿如意、插件、公众号等）在过去的很多年中，有很多用户使用，也有不少用户喜欢，还有更少的用户为之付钱。我们在商言商，怎么能让更多的人付钱使用我们的产品呢？用户的决定是怎么做的呢，我们有什么办法来影响用户的决定呢？
Blink_blink_scm_
10-02
标题"Blink_blink_scm_"指的是一个与STM32F107微控制器相关的项目，其核心功能是控制GPIO引脚使LED灯闪烁。"STM32f107 GPIO LED Blink"描述揭示了这个项目的目标是通过STM32F107的GPIO端口来实现LED灯的闪烁效果，这...
Blink_led.rar_blink
09-21
标题"Blink_led.rar_blink"和描述"Blink an led with Hitch compiler"暗示了这是一个关于使用Hitch编译器控制LED灯闪烁的项目。在嵌入式系统和物联网(IoT)开发中，"Blink"通常指的是一个基础教程，通过点亮和熄灭LED...
BlinkWithoutDelay.zip_blink
09-14
《Blink Without Delay: Arduino 编程新视角》 在Arduino的世界里，"Blink"是最基础也最常见的示例程序，它通过控制LED灯的闪烁，帮助初学者理解编程的基本概念。然而，标准的"Blink"程序使用了`delay()`函数，这在...
Blink-Led.rar_blink
09-14
标题"Blink-Led.rar_blink"暗示了这是一个与LED闪烁相关的程序，可能是一个电子工程或嵌入式系统项目。在嵌入式系统中，LED（Light Emitting Diode）闪烁通常用于验证硬件工作或者作为调试的基本步骤。"Blink"一词在...
营销策划 -2024非遗大展预热引流策划方案.pptx
最新发布
07-13
营销策划 -2024非遗大展预热引流策划方案.pptx
全网最热Python3入门+进阶 更快上手实际开发
07-13
网最热Python3入门+进阶 更快上手实际开发 第1章 Python入门导学.mp4 239.6MB 第9章 高级部分：面向对象 第8章 Python函数 第7章 包、模块、函数与变量作用域 第6章 分支、循环、条件与枚举 第5章 变量与运算符 第4章 Python中表示“组”的概念与定义 第3章 理解什么是写代码与Python的基本类型 第2章 Python环境安装 第1章 Python入门导学 第14章 Pythonic与Python杂记 第13章 实战：原生爬虫 第12章 函数式编程： 匿名函数、高阶函数、装饰器
物资合同管理台账.docx
07-13
物资合同管理台账.docx
项目管理策划编写模板.docx
07-13
项目管理策划编写模板.docx
blink和chrome
03-15
Blink是一个由Google开发的浏览器引擎，它用于渲染网页内容并提供用户与网页交互的功能。Blink最初是从Webkit引擎分离出来的，后来由Google继续开发和维护。Blink引擎被广泛应用于Google Chrome浏览器、Opera浏览器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

麒思妙想

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值