zhiyi329-CSDN博客

目录开始构建checkpointJobmanager启动checkpoint调度SourceStreamTask的Checkpoint执行Task上报checkpoint信息JobManager通知Task进行commit开始checkpoint流程入口：# Dispatcher.runJob(JobGraph jobGraph)private CompletableFuture<Void> runJob(JobGraph jobGraph) { Preconditions.chec

2022-01-04 19:59:43 793

原创 Iceberg源码学习：flink写iceberg四种TaskWriter区别

目录开始继承关系底层调用实例与过程分析实例总结开始flink写iceberg时，IcebergStreamWriter的open()方法中，会调用TaskWriterFactory.create()，会创建四种类型的写（UnpartitionedDeltaWriter/UnpartitionedWriter/PartitionedDeltaWriter/RowDataPartitionedFanoutWriter），本文主要追踪这四种类型的写。其中，IcebergStreamWriter.open()

2021-12-21 19:21:33 1901 1

原创 iceberg读写常见报错

flink写iceberg报错场景：flink sink iceberg时，使用equalityFieldColumns指定字段时，报错如下：java.lang.IllegalArgumentException: Cannot write delete files in a v1 table at org.apache.iceberg.ManifestFiles.writeDeleteManifest(ManifestFiles.java:154) at org.apache.iceberg.Sna

2021-12-20 11:25:31 2366

原创 Iceberg源码学习：flink写iceberg流程

这里写自定义目录标题开始实例IcebergStreamWriterIcebergFilesCommitterflink task执行流程参考开始实例flink支持DataStream和DataStream写入icebergStreamExecutionEnvironment env = ...;DataStream<RowData> input = ... ;Configuration hadoopConf = new Configuration();TableLoader tab

2021-12-13 16:14:46 4581

原创死锁实例及定位分析

定义死锁是指两个或两个以上的进程在执行的过程中，因争夺资源而造成的一种互相等待的现象，若无外力干涉，它们都无法推进下去。产生的原因系统资源不足进程运行推进的顺序不合适资源分配不当代码实例/** * 死锁是指两个或两个以上的进程在执行的过程中， * 因争夺资源而造成的一种互相等待的现象， * 若无外力干涉，它们都无法推进下去 */public class DeadLockDemo implements Runnable{ private String lockA;

2021-07-03 14:42:35 197

原创 Flink系列四：flink的状态管理

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2021-01-03 18:17:06 1084

原创 flink sql读取kafka-入门级

目录环境下载相关jar包启动flink集群与flink sql创建数据库并选择创建flink sql表结构查询结果环境flink 1.11版本Mac系统下载相关jar包flink sql读取kafka需要下载相关的kafka依赖包，放到本地的lib目录下，选择下面这个：cd /usr/local/Cellar/apache-flink/1.11.2/libexec/libcp ~/Downloads/flink-sql-connector-kafka_2.11-1.11.2.jar .启动

2020-12-24 19:26:10 4962 1

原创 flink实现读取kafka写入pulsar

flink实现读取kafka写入pulsar相关pom依赖序列化反序列化实现相关pom依赖将本实例的flink程序相关的依赖加进来：序列化反序列化需要实现序列化反序列化去读取和写入，实现类如下：实现

2020-12-24 18:56:59 673 3

原创 flink Table & SQL概述与实例

flink table实例欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用

2020-12-19 15:03:32 1799

原创 flink任务常见报错及解决办法

1、flink任务无法从checkpoint启动场景一、flink任务运行过程中出现异常时（如checkpoint失败次数超过配置阈值），自动重启出现算子异常，无法恢复正常运行。场景二、手动下线任务，选择上一次的checkpoint启动时，出现算子异常，无法启动。报错如下：java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.

2020-08-06 14:09:22 39766 3

原创 Flink系列三：时间概念与Watermark

一、时间概念类型事件生成时间（event time）每个独立事件在产生它的设备上发生的时间，在事件进入flink之前就已经嵌入到事件中，事件顺序取决于事件产生的地方和下游数据处理系统的时间无关，具有不变形。基于事件生成时间，数据处理过程依赖于数据本身产生的时间，这样能够借助于事件产生时的时间信息来还原事件的先后关系。接入时间（ingestion time）摄入时间是事件...

2019-12-29 14:35:20 535

原创 Flink系列二：DataStream 编程模型

Flink 中定义了DataStream API让用户灵活且高效地编写Flink流式应用。DataStream API主要可分为三个部分，DataSource模块、Transformation模块以及DataSink模块。其中DataSource模块主要定义了数据接入功能，主要是将各种外部数据接入至Flink系统中，并将接入数据转换成对应的DataStream数据集。在Transforma...

2019-12-23 22:57:41 1001

原创 Flink系列一：DataStream API 教程

本教程主要来自flink1.9教程设置Maven项目编写Flink程序在集群上运行并写入kafka 在本指南中，我们将从头开始，从设置Flink项目到在Flink集群上运行流分析程序。 Wikipedia提供了一个IRC频道，其中记录了对Wiki的所有编辑。我们将在Flink中读取此通道，并计算每个用户在给定时间窗口内编辑的字节数。这很容易使用Flink在几分...

2019-10-22 23:28:05 538

原创 Kafka常见错误及解决办法

1、报错信息：org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518}报错原因：当消费者消费offset大于或小于当前kafka集...

2019-09-24 16:27:42 43080 3

原创 go 求数组的并集、交集、差集

集合的分类:并集：以属于A或属于B的元素为元素的集合成为A与B的并（集）交集：以属于A且属于B的元素为元素的集合成为A与B的交（集）差集：以属于A而不属于B的元素为元素的集合成为A与B的差（集）package mainimport "fmt"//求并集func union(slice1, slice2 []string) []string { m := make(map[...

2019-09-19 17:53:58 31652 8

原创 kafka常用命令总结

1、返回topic列表./kafka-topics.sh --list --zookeeper localhost:21812、创建topic./kafka-topics.sh --zookeeper localhost:2181 --create --topic kafka_test --partitions 60 --replication-factor 33、查看指定to...

2019-09-19 13:45:59 1387

原创 go 定时器详解

在开发中，经常遇到一些需要定时任务的场景。go中用time包就能实现。简单实例：package mainimport ( "fmt" "time")func main(){ t := time.NewTicker(time.Second) for v := range t.C { fmt.Println("hello ", v) }}以上程序每隔1s执行一次...

2019-09-15 14:46:00 983

原创 go goroutine与channel详解

本文结构：1、概念2、goroutine3、goroutine调度模型4、不同goroutine之间通讯方式5、goroutine之间的通信实例6、select多路复用1、概念：进程和线程1）进程是程序在操作系统中的一次执行过程，系统进行资源分配和调度的一个独立单位2）线程是进程的一个执行实体，是CPU调度和分派的基本单位，它是比进程更小的能独立运行的基本单...

2019-09-13 19:58:50 2151

原创 golang 数据类型相互转换

1、string转intint,err := strconv.Atoi(string)2、string转int64int64, err := strconv.ParseInt(string, 10, 64)3、int转stringstring := strconv.Itoa(int)4、int64转stringstring := strconv.FormatIn...

2019-07-24 11:59:05 812

原创 go 自编译安装包

安装swagger时，go get -u github.com/swaggo/swag/cmd/swag，遇到以下问题：package golang.org/x/text/secure/bidirule: golang.org/x/text is a custom import path for https://go.googlesource.com/text, but /Users/gui...

2019-07-09 21:51:41 1007

原创 Burrow搭建过程详解

Burrow是linkedin开源的一个监控Apache Kafka的工具，burrow可以将消费者滞后检查作为一项服务来对外提供。它监视所有消费者的承诺偏移量，并根据需要计算消费者的状态，提供HTTP endpoint接口来获取消费者状态，能够监控Consumer消费消息的延迟,从而监控应用的健康状况，并且可以同时监控多个Kafka集群。通知器可以通过配置电子邮件或HTTP通告进行告警，...

2019-07-09 19:10:48 4517

原创 java 多线程---三种方法实例

本文讲解Java创建多线程的三种方法，分为以下四部分：一、继承Thread类二、实现Runnable接口三、实现Callable接口四、实例一、继承Thread类步骤：1）定义一个类继承Thread； 2）重写run方法； 3）创建线程对象； 4）调用start方法，开启线程并让线程执行，同时还会告诉j...

2019-07-07 16:28:20 169

原创 go调用sarama实例

本文实现go调用sarama库，实现创建Kafka topic，添加某账号的生产者权限以及消费者权限1、创建topic：import ( "github.com/Shopify/sarama" "log")func Create(topic *TopicInfo) error{ log.Println("start create topic...") ...

2019-05-22 14:58:17 5470

原创 go xorm 实例 - 实现对mysql增删改查以及事务的操作

本文用go实现对mysql的增删改查以及事务的操作：1、表结构：type User struct { Id int64 Name string Age int Passwd string `xorm:"varchar(200)"` Created time.Time `xorm:"created"` Updated time.Time `x...

2019-05-22 13:55:07 4034

原创 flink实现将kafka数据写入kafka（java）--入门级

1、安装kafka（mac版）：brew install kafka2、启动zookeeper、kafka、flink：zookeeper：/usr/local/Cellar/zookeeper/3.4.13/bin/zkServer startkafka：/usr/local/Cellar/kafka/2.1.1/bin/kafka-server-start /usr/local/e...

2019-03-27 20:37:32 3881

原创《剑指Offer》4、重建二叉树 java和python实现

题目描述: 输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。解题思路：　　前序遍历序列的第一个元素为根结点的值，然后在中序遍历序列中寻找根节点的值的位置（索引）。　　从中序遍历序列的起始位置...

2019-01-15 23:18:10 119

原创《剑指Offer》1、二维数组中的查找 java和python实现

题目描述：在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。解题思路：利用二维数组由上到下，由左到右递增的规律，那么选取右上角的元素与target进行比较；当target小于右上角的元素时，那么它将小于整个列，因此，...

2019-01-15 21:49:39 275

原创《剑指Offer》3、从尾到头打印链表 java和python实现

题目描述输入一个链表，按链表值从尾到头的顺序返回一个ArrayList。解题思路：java实现：利用stack,先把链表里的数据，都放到一个栈里去，然后按顺序把栈里的东西pop出来。/*** public class ListNode {* int val;* ListNode next = null;** ...

2019-01-15 21:19:47 148

原创 python dataframe选择满足某条件的行，进行操作

import pandas as pddata = {'state':['Ohio','Ohio','Merry','Nevaio','Nevada'], 'year':[2000,2001,2002,2001,2002], 'pop':[1.5,1.7,3.6,2.4,2.9]}frame = pd.DataFrame(data,columns=['year','stat...

2018-11-27 23:29:40 41710 6

原创 Flask Web开发电子邮件发送问题详解

按书上的内容结果报出服务器拒绝于是换qq邮箱服务器，结果报如下错误：smtplib.SMTPAuthenticationError:(535,b'Error:\xc7\xeb\xca\xb9\xd3\xc3\xca\xda\xc8\xa8\xc2\xeb\xb5\xc7\xc2\xbc\xa1\xa3\xcf\xea\xc7\xe9\xc7\xeb\xbf\xb4: http://service....

2018-07-13 20:52:12 1494

原创 python 利用turtle库绘制笑脸和哭脸

import turtleturtle.pensize(5)turtle.pencolor("yellow")turtle.fillcolor("red")turtle.penup()turtle.goto(0,-200)turtle.pendown()turtle.circle(200)turtle.penup()turtle.goto(-100,50)turtle.pen...

2018-05-10 14:53:11 22250 3

原创跳跃游戏的python实现

问题描述：给定一个非负整数列表，假定你的初始位置为列表第一个下标。列表中的每个元素代表你在那个位置能够跳跃的最大长度。请确认你是否能够跳跃到列表的最后一个下标。例如：输入： A = [2,3,1,1,4]输出： True输入： A = [3,2,1,0,4]输出： False 采用贪心算法方式,主要思想就是从列表中的第一个元素开始计算此元素所能到达的最远的数据元...

2018-03-23 11:12:43 2714 2

空空如也

空空如也