Flink实时计算
文章平均质量分 67
Flink 流计算
麦田里的守望者·
相信相信的力量
展开
-
Flink Rest Basic Auth - 安全认证
背景公司目前需要将Flink实时作业云化,构建多租户实时计算平台。目前考虑为了资源高效利用,并不打算为每个租户部署一套独立的Kubernetes集群。也就意味着多个租户的作业可能会运行在同一套kubernets集群中。此时实时作业的任务就变的很危险,因为网络可能是通的,就会存在危险的REST API暴露出去,被一些不坏好意的人利用,从而影响其他租户的作业。鉴于此考虑给Flink的作业添加一个认证方式,可以是Kerberos或者是Http 用户名密码Baisc认证。各种搜索和询问,最终发现了一些线索FLIP原创 2024-06-04 15:46:06 · 765 阅读 · 1 评论 -
Flink CDC - Postgres
此处生成postgresql实例,账户postgres/pass123,通过IDEA创建Datasource数据源查看postgress的版本信息。2)开启Postgress wal日志。1)部署安装Postgres服务。3)开启Flink建表映射。原创 2024-05-28 14:55:36 · 414 阅读 · 0 评论 -
Flink Kylinv10 java8 Flink镜像制作
基于麒麟v10版本制作JDK8 Flink镜像原创 2024-05-21 13:45:07 · 336 阅读 · 0 评论 -
Kubernates-dashbord-安装
kubernets 仪表盘安装,辅助故障排查原创 2024-05-21 11:29:37 · 306 阅读 · 0 评论 -
Apache Flink 流处理-[CentOS|Rocky] 镜像
Flink Docker Rocky&CentOS8 镜像制作原创 2024-04-25 17:23:58 · 482 阅读 · 4 评论 -
Flink Operator 使用指南 之 全局配置
Flink Operator全局配置原创 2023-11-20 21:01:42 · 1011 阅读 · 0 评论 -
Flink Operator 使用指南 之 Flink Operator安装
Flink Operator实战基础篇原创 2023-11-20 18:30:00 · 961 阅读 · 0 评论 -
Flink实时计算中台Kubernates功能改造点
平台为数据开发人员提供基本的实时作业的管理功能,其中包括jar、sql等作业的在线开发;安装官方的使用说明,在镜像Application-Mode部署的时候,用户需要更具发布的jar包每次都需要重新打包镜像,启动作业,这样在生产场景下比较满,导致作业的制作工艺比较复杂,因此我们需要针对TaskManager和JobManagwer的pod进行修改,总体思想是通过在构建TaskManager、JobManagwer pod的时候,自动挂载本地的NFS镜像资源Volume到镜像的。卷挂载解决用户jar的问题。原创 2023-09-02 18:10:36 · 640 阅读 · 0 评论 -
Kubernetes笔记-部署安装指南
重启机器生效,重启后可以使用getenforce命令查看状态。如果安装速度慢,用户可以考虑使用阿里云的安装镜像。所有机器信息均需要配置主机和ip映射关系。(2)注册账号,或者使用支付宝账号登陆。表示每间隔10分钟同步一下时钟。④配置Docker国内镜像。(3)登陆后进入下面页面。①安装Docker环境。...............原创 2022-08-15 17:04:36 · 229 阅读 · 0 评论 -
Flink Kubernates Native - 入门
运行flink session任务。1、编写DockerFile。命令空间添加资源限制。可以根据提示信息访问。原创 2023-08-28 16:12:11 · 627 阅读 · 0 评论 -
OracleCDC
[oracle@a9113e4ba60b /]$ export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/dbhome_2[oracle@a9113e4ba60b /]$ sqlplus /nologSQL*Plus: Release 11.2.0.1.0 Production on Thu May 26 08:20:36 2022Copyright (c) 1982, 2009, Oracle. All rights reserved原创 2022-05-27 09:46:48 · 473 阅读 · 0 评论 -
Flink Yarn TaskManager|JobManager日志采集方案
背景Flink on Yarn 的模式下,TaskManager的日志会存储到所在的 DataNode 上,当 Flink 任务发生异常,产生异常日志时,需要第一时间感知任务已经出现异常,避免影响业务。因此需要将Flink任务的日志实时收集起来,任务出现异常日志立刻报警,做的真正意义上的实时报警,,而不是等Flink任务掉线了再发出报警。收集任务日志的好处除了任务掉线方便我们通过日志定位问题,还可以支持日志实时报警,搜索,展示等功能的实现。Flink-1.7.2/1.101、修改$FLINK_HOME原创 2021-11-08 13:01:40 · 3314 阅读 · 0 评论 -
Flink Table API& SQL编程指南(Table Factory DDL和Table API)
自定义TableFactoryTableFactory允许从基于字符串的属性创建与表相关的不同实例。调用所有可用的工厂以匹配给定的属性集和相应的工厂类。工厂利用Java’s Service Provider Interfaces (SPI) 进行发现。这意味着每个依赖项和JAR文件都应在META_INF / services资源目录中包含一个文件org.apache.flink.table.factories.TableFactory,该文件列出了它提供的所有可用表工厂。每个Table factory 都原创 2020-07-21 20:44:44 · 575 阅读 · 0 评论 -
Flink Table API& SQL编程指南(自定义Sources & Sinks)
TableSourceTableSource提供对存储在外部系统(数据库,键值存储,消息队列)或文件中的数据的访问的通用接口。在TableEnvironment中注册TableSource后,可以通过Table API或SQL查询对其进行访问。它提供了表的schema 以及与该表的schema 映射到行的记录。TableSource[T] { def getTableSchema: TableSchema def getReturnType: TypeInformation[T] def e原创 2020-07-21 20:39:01 · 543 阅读 · 1 评论 -
Flink Table API& SQL编程指南(Connector Sink-【FileSystem、HBase、Kafka、JDBC】)
Connector(Sink)FileSysterm可以将数据写出到文件系统,需要注意目前系统提供文件系统的写出.Sink:BatchSink:AppendStream批处理-SinkTable API方式import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.table.api.{DataTypes, Table}import org.apache.flink.table.api.scala.原创 2020-07-18 16:35:14 · 706 阅读 · 0 评论 -
Flink Table API& SQL编程指南(Dynamic Table、Continuous Querires、Query Restriction)
Streaming ConceptsFlink的Table API或者是SQL的计算针对于一些Batch或者Streaming数据在语义上是一致的。由于关系运算和SQL分析最初是为了对批处理而设计的,所以讲关系查询或者SQL应用在无界的流计算方面不如有界批处理那么好理解。因此我们后面将给大家介绍Flink 的关系API在流计算上的一些概念。Dynamic Table由于传统SQL和关系分析早期的设计主要是用于批处理,因为在关系运算、SQL处理方面与流计算是由一些差异的。下面我们分别从数据、输入形式、计原创 2020-07-17 19:12:43 · 425 阅读 · 0 评论 -
Flink Table API& SQL编程指南(Source Connector【FileSystem、HBase、Kafka、JDBC、Hive】)
Connector(Source)Flink的Table API和SQL程序可以连接其他的外围系统,用于读写批和流中的表。其中一个TableSource提供了访问外围系统的数据例如:数据库、key-value仓库、消息队列或者是文件系统等。Table Sink会将计算的结果输出给外部存储系统。这些取决于Source和Sink的类型,他们支持很多种数据类型,例如:CSV、Parquet、ORC等。接下来的我们来看看一些内建的TableSource和Table Sink,然后尝试将他们注册给Flink,当这些原创 2020-07-17 19:07:47 · 544 阅读 · 0 评论 -
Flink Table API& SQL编程指南-(概述、依赖结构、概念与常规API)
概述Flink具有两个关系型API- Table API和SQL,这两个API,这两个API统一了流处理和批处理。其中Table API是用Scala或者是Java的语言集成查询API。它允许以非常直观的方式从关系运算符(如select、filter和join)组成查询。Flink的SQL支持基于实现SQL标准的Apache Calcite.无论输入的是DataSet(批)还是DataStream(流)这两套接口中指定的查询具有相同的语义和相同的计算结果。其中Table API和SQL的接口可以紧密的原创 2020-07-17 19:00:55 · 391 阅读 · 0 评论 -
Flink Bacth 编程指南全集
Flink Batch概述Flink中的DataSet程序是实现数据集转换(例如,过滤,映射,连接,分组)的常规程序。最初从某些源创建数据集(例如,通过读取文件或从本地集合创建)。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或标准输出(例如命令行终端)。数据读入/写出数据读入基于文件文本文件import org.apache.flink.api.scala.ExecutionEnvironmentimport org.apache.flink.api.scala._val e原创 2020-07-19 09:36:28 · 261 阅读 · 0 评论 -
Apache Flink DataStream之CEP复杂事件处理机制
Apche FlinkFlink CEP概念Flink CEP是其实一个Flink库,跟机器学习库是一样的。它是为了更快,更及时的发现一些我们所关心的事情,而不是需要等待几天或则几个月相当长的时间,才发现问题。比如我们的银行卡被人盗刷,如果没有CEP,那么我们即使丢了银行卡,可能也不知道,等我们发现银行卡丢失后,再去挂失等,发现银行卡里已经没钱了。有了CEP,则可以及时提醒,存在银行卡被盗刷的可能性。在应用系统中,总会发生这样或那样的事件,有些事件是用户触发的,有些事件是系统触发的,有些可能是第三方原创 2020-07-21 20:48:47 · 630 阅读 · 0 评论 -
Apache Flink DataStream 编程全集
概述Flink是构建在数据流之上的有状态计算的流计算框架,通常被人们理解为是第三代大数据分析方案。第一代 - Hadoop的MapReduce计算(静态)、Storm流计算(2014.9) ;两套独立计算引擎,使用难度大第二代 - Spark RDD 静态批处理(2014.2)、DStream|Structured Streaming 流计算;统一计算引擎,难度系数小第三代 - Flin...原创 2020-03-04 17:28:20 · 616 阅读 · 0 评论 -
Apache Flink DataStreamAPI之 Windows(章节五)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy窗口计算Windows是流计算的核心。Windows将流拆分为有限大小的“桶”,我们可以在其上应用计算。基本概念Window Assigners:Window Assigners定义如何将元素分配给窗口。WindowAssigner负责将每个传入元素分配给一个或多个窗口。Fli...原创 2019-04-29 17:54:57 · 418 阅读 · 0 评论 -
Apache Flink Stream API之State & Fault Tolerance(章节四)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wyState & Fault Tolerance针对于流处理的有状态function和operators可以存储流计算过程中的每个Event的计算状态。状态计算是构建精确操作不会或缺的板块。Flink需要获知计算节点的状态,从而使用checkpoint和savepoint机制...原创 2019-04-27 20:47:48 · 639 阅读 · 0 评论 -
Apache Flink DataStream API之Transformation(章节三)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wyDataStream 数据转换常规操作符// order zhangsan TV,GAMEval env = StreamExecutionEnvironment.createLocalEnvironment()val props = new Properties()pro...原创 2019-04-27 20:42:45 · 334 阅读 · 0 评论 -
Apache Flink DataStream API之程序结构分析&DataSource(章节二)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wyApacheFlink® - 是针对于数据流的状态计算,Flink具有特殊类DataSet和DataStream来表示程序中的数据。您可以将它们视为可以包含重复项的不可变数据集合。在DataSet的情况下,数据是有限的,而对于DataStream,元素的数量可以是无限的。这些集合在...原创 2019-04-26 23:47:12 · 509 阅读 · 0 评论 -
Apache Flink之架构概述和环境(章节一)
作者:jiangzz 电话:15652034180 微信:jiangzz_wx 微信公众账号:jiangzz_wy 百知教育背景介绍继Spark之后第三代内存计算框架Flink应运而生,Flink作为第三代计算框架Flink吸取了二代大数据Spark计算的设计的精华,依然采用DAG模型做任务拆分,但是Spark在流处理领域上因为微观批处理实时性不高甚至在性能上还不能和一代流处理框架Storm匹...原创 2019-04-26 11:34:09 · 1166 阅读 · 0 评论 -
Apache Flink 课外阅读
Apache FlinkFlink 概述首先大数据存储和分析引擎Hadoop自2006年诞生。谈及Hadoop大家自然不会对 MapReduce感到陌生,它将计算分为两个阶段,分别为 Map 和 Reduce。MapReduce计算框架虽然借鉴了函数式编程和矢量编程的思想完成了分布式计算。但不得不承认MapReduce在矢量编程结构过于简单,在完成一些比较复杂的高阶计算(例如:机器学习线性回归...原创 2019-08-25 14:39:54 · 1996 阅读 · 0 评论