![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 79
谭正强
一个不愿在枯燥的日子里自废武功,同时对技术有点追求的 Java、大数据程序员。永远对牛人心生敬仰,对自己不甘平庸。
人到中年,太多的无奈驱使我无法专心做技术,但是在这里我希望这颗心可以纯粹点,聊点对技术的热爱,反省下当下的人生。
展开
-
Flink常见报错持续更新
Flink-1.101、Job因为没有可用的任务slot而失败2021-06-24 12:50:36,433 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Job Windowed Join Example (d2f1e2b84ab8bc67298b32022a77c4fa) switched from state RUNNING to FAILING.org.apache.flink.runtime.jobmanager.s原创 2021-07-05 00:19:16 · 1556 阅读 · 0 评论 -
实时平台开发笔记
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录一、背景二、功能模块划分1. 作业台主要功能任务生命周期2.任务列表主要功能3.项目管理4.模板管理5.UDF管理三、问题解决1. kerberos认证问题2.分布式锁解决Job名称冲突问题3.自定义线程池用以监控线程运行情况4. 待补充(TODO)其他1. 大量的运用了BeanUtils.copyBean,why?2. SpringBoot结合Mybatis-plus自动回填获取ID3. 使用RequestContextHolde原创 2021-04-05 09:19:44 · 615 阅读 · 1 评论 -
实时方案之数据湖探究初步笔记
一、数据湖调研1、IcebergIceberg 作为新兴的数据湖框架之一,开创性的抽象出“表格式”table format"这一中间层,既独立于上层的计算引擎(如Spark和Flink)和查询引擎(如Hive和Presto),也和下层的文件格式(如Parquet,ORC和Avro)相互解耦。此外 Iceberg 还提供了许多额外的能力:ACID事务; 时间旅行(time travel),以访问之前版本的数据; 完备的自定义类型、分区方式和操作的抽象; 列和分区方式可以进化,而且进化对原创 2021-01-29 14:14:53 · 798 阅读 · 0 评论 -
Flink1.12 Kafka Upsert 笔记
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档@[TOC](文章目录)前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、Upsert Kafka Connector是什么?Upsert Kafka Connector允许用户以upsert的方式从Kafka主题读取数据或将数据写入Kafka主题。.原创 2021-01-25 16:55:08 · 8688 阅读 · 5 评论 -
Flink结合Kafka实时写入Iceberg实践笔记
前言上文提到使用Flink SQL写入hadoop catalog 的iceberg table 的简单示例,这次我就flink 消费kafka 流式写入iceberg table做一个验证,现记录如下:环境:本地测试环境 JDK1.8 、Flink 1.11.2 、Hadoop3.0.0 、Hive2.1.1一、前置说明本文记录了使用HDFS的一个路径作为iceberg 的结果表,使用Flink实时消费kafka中的数据并写入iceberg表,并且使用Hive作为客户端实时读取。因为..原创 2021-01-19 21:20:33 · 3381 阅读 · 4 评论 -
Flink结合Iceberg的一种实现方式笔记
前言当前Iceberg仅支持flink 1.11.x 使用Datastream和Table API写iceberg表,鉴于hive catalog 的测试暂时未通过,故以下使用hadoop catalog记录下过程,后面测试完成后再行补充。提示:以下是本篇文章正文内容,下面案例可供参考一、什么是Iceberg?Apache Iceberg is an open table format for huge analytic datasets.Iceberg adds tables...原创 2021-01-12 14:12:13 · 3911 阅读 · 5 评论 -
Flink1.11.2 使用SQL方式消费kafka写入Hive测试用例实践
前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,下面案例可供参考一、pandas是什么?示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下(示例):import numpy as np import pandas as pd import matplotlib.原创 2020-11-26 19:57:42 · 2520 阅读 · 4 评论 -
Flink1.11 任务提交方式笔记
环境:CDH : 6.2.0Hadoop: Hadoop 3.0.0-cdh6.2.0Flink:Version: 1.11.2, Commit ID: fe36135Flink Session模式# 启动yarn session 用以提交任务bin/yarn-session.sh -d -qu root.zm_yarn_pool.production -jm 1024 -tm 2048 -s 4 -nm flink-cluster-pro# wordcount测试用例..原创 2020-11-11 19:02:27 · 2489 阅读 · 1 评论