flink
文章平均质量分 76
CarloPan
这个作者很懒,什么都没留下…
展开
-
构建一个flink程序,从kafka读取然后写入MYSQL
构建一个flink程序,从kafka读取然后写入MYSQL - 黄青石 - 博客园转载 2021-11-23 14:22:00 · 238 阅读 · 0 评论 -
Flink 官网导航
配置参数 | Apache Flink配置参数 # All configuration is done in conf/flink-conf.yaml, which is expected to be a flat collection of YAML key value pairs with format key: value.The configuration is parsed and evaluated when the Flink processes are started. Changes to原创 2021-10-29 09:05:48 · 1790 阅读 · 0 评论 -
flink-streaming-platform-web 本地运行测试
项目地址: xflink-streaming-platform-web: 基于flink-sql的实时流计算web平台https://gitee.com/zhuhuipei/flink-streaming-platform-web.git步骤1、使用git clone 到本地后,使用IDEA打开项目2、修改数据库连接 flink-streaming-web/src/main/resources/application.properties3、在本地数据库中创建 flink_web 库,并执转载 2021-10-07 17:02:06 · 901 阅读 · 0 评论 -
Flink v1.12 Hive
Apache Hivehttps://hive.apache.org/正在上传…重新上传取消v1.12已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现,定义,和演化数据。Flink 与 Hive 的集成包含两个层面。一是利用了 Hive 的 MetaStore 作为持久化的 Catalog,用户可通过HiveCatalog将不同会话中的 Flink 元数据存储到 Hive Metastore 中。 例如...转载 2021-10-02 14:10:04 · 191 阅读 · 0 评论 -
Hadoop 关于
Hadoop主要记录了Hadoop各个组件的基本原理,处理过程和关键的知识点等,包括HDFS、YARN、MapReduce等。硬件问题:复制数据解决(RAID)分析需要从不同的硬盘读取数据:MapReduce而Hadoop提供了1.可靠的共享存储(分布式存储) 2.抽象的分析接口(分布式分析)关键技术1.数据分布在多台机器可靠性:每个数据块都复制到多个节点性能:多个节点同时处理数据2.计算随数据走网络IO速度 << 本地磁盘IO速度,大数据系统会尽原创 2021-08-07 14:21:47 · 132 阅读 · 0 评论 -
Apache Flink 零基础入门(四):客户端操作的 5 种模式
转载自:https://developer.aliyun.com/article/712704简介:本文主要分享 Flink 的 5 种任务提交的方式。熟练掌握各种任务提交方式,有利于提高我们日常的开发和运维效率。通过 -s 参数从指定的 Savepoint 启动:flink-1.7.2 bin/flink run -d -s /tmp/savepoint/savepoint-f049ff-24ec0d3e0dc7 ./examples/streaming/TopSpeedWindowing..转载 2021-07-24 19:38:31 · 620 阅读 · 0 评论 -
FLINK-启动命令2(Application 模式) -Dyarn.provided.lib.dirs
1. 背景flink-1.11 引入了一种新的部署模式,即 Application 模式。目前,flink-1.11 已经可以支持基于 Yarn 和 Kubernetes 的 Application 模式。2. 优势Session模式:所有作业共享集群资源,隔离性差,JM 负载瓶颈,main 方法在客户端执行。Per-Job模式:每个作业单独启动集群,隔离性好,JM 负载均衡,main 方法在客户端执行。通过以上两种模式的特点描述,可以看出,main方法都是在客户端执行,社区考虑到在客户端执行转载 2021-07-18 15:30:52 · 3544 阅读 · 1 评论 -
yarn在快手应用实践与技术演进之路
这次分享分成三部分:1、yarn的背景。2、yarn技术改进。3、yarn未来规划。yarn的背景yarn大家都比较熟悉了,是从Hadoop1.0分离到2.0的比较重要的特性,把原来的jobtracker集中式调度变成yarn的二级调度,解决集群扩展性的问题。yarn主要是分成了三个模块,ResourceManager来管理整个集群的资源,NodeManager管理整个机器资源情况,ApplicationMaster管理整个APP的资源信息。MR/SPARK/Flink实现了自己的AM逻辑在yarn转载 2021-06-19 16:17:04 · 230 阅读 · 0 评论 -
日均处理万亿数据!Flink 在快手的应用实践与技术演进之路
https://www.infoq.cn/article/sEMcN3uK-3jk9EBCiUuS转载 2021-06-19 16:06:09 · 144 阅读 · 0 评论 -
flink实战-实时计算平台通过api停止流任务
https://blog.csdn.net/zhangjun5965/article/details/106820591转载 2021-06-12 13:14:36 · 1217 阅读 · 0 评论 -
在YARN上使用Flink有3种模式:Per-Job模式、Session模式和Application模式-1。job的轻巧提交设置
https://weread.qq.com/web/reader/1b932790723982d91b9bd8dk66f3299023a66f041e16858转载 2021-06-12 16:18:50 · 15446 阅读 · 10 评论 -
Flink Client 实现原理与源码解析
转载:https://mp.weixin.qq.com/s/WiRyQEoDfuowT3LNfZ-NSw本文大纲:一、我们本次的目的是什么?这次我们的目的是,在本地的 IDEA 中去 debug flink-clients 代码,然后远程提交给 flink standalone 集群上去执行,看一看 flink 客户端在提交代码之前都干了什么。就像下面这样:在开始之前,我想要提两个发人深省的问题。问题 1:用户代码如何变成 DAG 图?问题2:如何保证 Flink 框架依赖和用户代码依赖不转载 2021-06-07 16:04:27 · 844 阅读 · 0 评论 -
Flink MapPartition
import org.apache.flink.api.common.functions.MapFunction;import org.apache.flink.api.common.functions.MapPartitionFunction;import org.apache.flink.api.java.ExecutionEnvironment;import org.apache.flink.api.java.operators.DataSource;import org.apache...原创 2021-06-06 15:21:45 · 874 阅读 · 0 评论 -
Flink 1.13.0 下载, 启动,运行WordCount
1、访问flink官网https://flink.apache.org/2、点击Downloads, 选择:Apache Flink 1.13.13、点击对应的连接下载下载下来的文件:下载之后:4、解压、启动https://ci.apache.org/projects/flink/flink-docs-release-1.13//docs/try-flink/local_installation/Local Installation#Follow...原创 2021-06-05 16:50:56 · 3131 阅读 · 0 评论 -
Flink发展历史
版本:https://flink.apache.org/downloads.htmlhttps://archive.apache.org/dist/flink/发展历史:2014年 Jan一月14 precursor - 初期形式2014年Apr四月14 incubation - 孵化2014年 Dec十二月14 Top Level2015年6月 0.9.02016年Mar5月16 1.0.0...原创 2021-06-05 15:28:22 · 551 阅读 · 0 评论 -
Flink 自定义时间流处理
其他参考项目:https://gitee.com/liangxianning/flinkx/tree/master/docsflinkx: 袋鼠云的开源项目对于大多数流数据处理应用程序而言,能够使用处理实时数据的代码重新处理历史数据并产生确定并一致的结果非常有价值。在处理流式数据时,我们通常更需要关注事件本身发生的顺序而不是事件被传输以及处理的顺序,因为这能够帮助我们推理出一组事件(事件集合)是何时发生以及结束的。例如电子商务交易或金融交易中涉及到的事件集合。为了满足上述这类的实时流处.原创 2021-06-04 16:49:38 · 158 阅读 · 0 评论 -
Flink 数据传输策略
TaskManager 中可以有多个(默认1个)TaskSlot , 每个TaskSlot 可以有运行多个task ,数据传输策略原创 2021-05-30 16:50:50 · 335 阅读 · 0 评论 -
TaskManager TaskSlot 并行度
Flink TaskSlot与并行度taskSlots的数量对并行度的影响?TaskManager 是一个 JVM 进程,是实际负责执行计算的Worker,TaskManager中最小的资源调度单位是TaskSlots。TaskManger从 JobManager 接收需要执行的任务,然后申请Slot 资源(根据集群Slot使用情况以及并行度设置)并尝试启动Task开始执行作业,会以独立的线程来执行一个task或多个subtask。为了控制一个 TaskManager 能执行多少个...转载 2021-05-30 15:03:16 · 736 阅读 · 0 评论 -
Flink REST API #
官方文档:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/ops/rest_api/https://ci.apache.org/projects/flink/flink-docs-release-1.12/ops/rest_api.html/jarsReturns a list of all jars previously uploaded via '/jars/upload'./jars/uplo.转载 2021-05-27 19:18:36 · 1612 阅读 · 0 评论 -
flink-conf.yaml中提供了控制类加载策略的参数classloader.resolve-order
原文链接1:https://blog.csdn.net/nazeniwaresakini/article/details/107728576原文链接2:https://blog.csdn.net/chenxyz707/article/details/109043868在JVM中,一个类加载的过程大致分为加载、链接(验证、准备、解析)、初始化5个阶段。而我们通常提到类的加载,就是指利用类加载器(ClassLoader)通过类的全限定名来获取定义此类的二进制字节码流,进而构造出类的定义。Flin转载 2021-05-26 17:04:40 · 5321 阅读 · 0 评论 -
Flink 窗口 #
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/datastream/operators/windows/Windows是处理无限流的核心。Windows将流分成有限大小的“存储桶”,我们可以在其上应用计算。本文档重点介绍如何在Flink中执行窗口化,以及程序员如何从其提供的功能中获得最大收益。窗口式Flink程序的一般结构如下所示。第一个片段指的是键控流,而第二个片段指的是非键控流。正如人们所看到的,翻译 2021-05-18 16:32:14 · 167 阅读 · 0 评论 -
Flink 算子 #
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/datastream/operators/overview/用户通过算子能将一个或多个 DataStream 转换成新的 DataStream,在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。这部分内容将描述 Flink DataStream API 中基本的数据转换API,数据转换后各种数据分区方式,以及算子的链接策略。数据流转换#.转载 2021-05-18 13:56:36 · 129 阅读 · 0 评论 -
DataStream API 简介
DataStream API 简介#该练习的重点是充分全面地了解 DataStream API,以便于编写流式应用入门。什么能被转化成流?#Flink 的 Java 和 Scala DataStream API 可以将任何可序列化的对象转化为流。Flink 自带的序列化器有基本类型,即 String、Long、Integer、Boolean、Array 复合类型:Tuples、POJOs 和 Scala case classes而且 Flink 会交给 Kryo 序列化其他类型。也可..转载 2021-05-17 13:23:17 · 268 阅读 · 0 评论 -
Starting standalonesession Flink
https://ci.apache.org/projects/flink/flink-docs-release-1.12/try-flink/local_installation.htmlFollow these few steps to download the latest stable versions and get started.Step 1: DownloadTo be able to run Flink, the only requirement is to have a wor原创 2021-05-01 16:36:46 · 491 阅读 · 0 评论 -
flink 学习
https://developer.aliyun.com/topic/trainingcamp/flink01原创 2020-07-08 13:33:56 · 91 阅读 · 0 评论