Leonardo_KY的博客

基于FlinkSQL + Paimon + StarRocks/ Doris实现的实时（分钟级）数据入湖，并通过StarRocks/Doris外表查询Paimon秒级OLAP查询，达到极致效率的湖仓OLAP分析。

本文主要介绍如何在单机本地安装部署Flink、Paimon、StarRocks（Doris）的相关大数据/数据湖环境，并结合简单测试用例介绍入门用法（方便玩转流式数据湖）。

有时候，当我们从git或者gitee上clone下来一个项目，然后通过idea打开的时候，右侧的maven不显示（前提是这是一个maven项目），3. 删除 .idea文件夹，要注意的是，这个文件夹是隐藏的，如果你没有设置显示隐藏文件可能看不见它，设置一下即可。如果你之前都是有的，突然之间没有了，可以试试：view -> Tool windows -> Maven 都出来了。1. 进入到该项目的工作目录文件夹，比如你的项目名称叫XXX, 就进入 （idea工作目录）/XXX。

Flink+Paimon多流拼接性能优化实战，本文使用Flink+Paimon基于ParmaryKey Table主键表（PartialUpdate）进行多流拼接的时候，跑一段时间有时会遇到周期性背压、checkpoint时间过长等情况，本文通过剖析源码逻辑、修改源码，在一定程度上解决了这个问题。另外，还意外解决了跨分区关联率偏低的问题。

基于数据湖的多流拼接方案-HUDI实操篇，包含一些代码样例、简单demo；以及到生产实操之后可能会出现的问题及解决方案。

基于数据湖的多流拼接方案-HUDI概念篇，包含Hudi的一些基本概念和原理、使用场景，已经一些相关参考资料。（后续会更新Hudi的实战内容）

新一代数据湖存储技术Apache Paimon（Flink Table Store）入门Demo，本文给出了一些简单的flink-paimon样例（example），可供快速学习上手（文中所有代码均已跑通）。

1. 无限个数的凑零钱问题我们经常会遇到这种问题（其实在生活中也很常见）：-----------例1： 设有n种不同面值的硬币，现要用这些面值的硬币来找开待凑钱数m，可以使用的各种面值的硬币个数不限。 找出最少需要的硬币个数？如：有4种硬币，分别是1,2,5,10； 现在需要用最少硬币凑出来目标值：23，怎么做？------------很明显，我们一眼就可以看出来，最少4个（2个10,1个2，1个1）. 但是计算机怎么解决呢？以下介绍了两种方法，分别是常见的贪心...

1. 单调队列（双端队列）核心思想是维持deque/双端队列中的元素保持递增or递减。使用该数据结构的优点是deque在队列两端都可以添加、删除元素，这里借助了它其中4种常数时间复杂度的操作(java)：offerLast(n)、getFirst()、pollFirst()、pollLast()。单调栈介绍详见：https://blog.csdn.net/LutherK/article/details/107023543另外：单调队列还被应用于“多重背包...

1 题目题目链接：https://leetcode-cn.com/problems/trapping-rain-water/接雨水问题在leetcode中是“困难”，但同时也是面试中常遇到的问题。1.1 题目描述：给定n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表示的高度图，在这种情况下，可以接 6 个单位的雨水（蓝色部分表示雨水）。示例:输入: [0,...

概念：单调栈（monotone-stack）是指栈内元素（栈底到栈顶）都是（严格）单调递增或者单调递减的。如果有新的元素入栈，栈调整过程中 *会将所有破坏单调性的栈顶元素出栈，并且出栈的元素不会再次入栈* 。由于每个元素只有一次入栈和出栈的操作，所以 *单调栈的维护时间复杂度是O(n)* 。单调栈性质：1. 单调栈里的元素具有单调性。2. 递增（减）栈中可以找到元素左右两侧比自身小（大）的第一个元素。我们主要使用第二条性质，该性质主要体现在栈调整过程中，下面以递增栈为例（假设所有元素都是唯一），

hadoop生态系统的详细介绍转自：https://blog.csdn.net/wdr2003/article/details/79692886补充参考：https://blog.csdn.net/woshiwanxin102213/article/details/19688393简介Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软...

Hadoop是一个搭建在廉价PC上的分布式集群系统架构，它具有高可用性、高容错性和高可扩展性等优点。由于它提供了一个开放式的平台，用户可以在完全不了解底层实现细节的情形下，开发适合自身应用的分布式程序。二、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要的两种组成元素为底层用于存储...

Hadoop生态系统主要架构图汇总1 hadoop1.0时期架构hadoop1.0时期架构2 hadoop2.0时期架构hadoop2.0时期架构3 hdfs架构hdfs架构【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求【Secondary Name...

什么是递归？在高级语言中，调用自己和其它函数没有本质的不同。我们把一个直接用自己或通过一系列的调用语句间接地调用自己的函数，称作递归函数。每个递归函数必须至少有一个条件，满足时递归不再执行，即不再引用自身而是返回值退出。 简单地说，就是如果在函数中存在着调用函数本身的情况，这种现象就叫递归。递归的两个必要条件 1、存在限制条件，当满足这个...

图解快速排序算法（补充） 关于快速排序算法的两种实现（split、partition）在上一篇”快速排序算法的两种Java实现及图解“中已经通过图示详细说明，并且也附上了Java代码。 但是，第二种实现方法（partition）的代码中有一点需要注意的，没有强调，并且也没有给予解释。 /** * (6)-6.2 快速排序 * 双指...

快速排序算法的两种Java实现及图解 十大经典排序算法中，感觉“快速排序算法”不太容易理解，这里简单做个笔记，利用图示直观的展示了其排序原理。 快速排序的基本思想：通过一趟排序将待排记录分隔成独立的两部分，其中一部分记录的关键字均比另一部分的关键字小，则可分别对这两部分记录继续进行排序，以达到整个序列有序。算法描述快速排序使用分治法来把一个串（list）...

构造二叉树&4种遍历方法 目的：通过一个任意数组（可以包含Null，而且空的节点没必要全部用Null值填充）来构造一个任意形式的二叉树（可以是完全二叉树，也可以是非完全二叉树）。 看网上好多教程由数组构造二叉树都是“完全二叉树”，即使可以产生非完全二叉树也必须将空节点全部用Null表示填入数组中（这样其实就跟完全二叉树等效了）。这里用Python2和Ja...

前记：作用说明：学习笔记，主要用于自我记录。（PS：本人新手，文章仅供参考；如有错误，欢迎各位大神批评指正！）最近刚刚接触yolo，由于yolo官网和网上各种资料几乎都是基于C语言的，本人觉得python比较简洁，故用python实现了C可实现的部分功能。该文承接上篇博文“ROS通过话题消息发布订阅Image”。此篇介绍（4）（4）yolo结合ROS检测摄像头（webcam/kinect）视频。【...

前言：    前段时间，学习了YOLO在Python下的实现，而且经过在原代码基础上添加部分简单函数，已经可以实现利用YOLO在Python下实现（1）检测图片中的物体，（2）检测本地视频，（3）调用摄像头实时检测。后来又需要利用Kinect实时检测，所以要用的ROS进行各脚本之间的通信。而ROS Image是我写程序时遇到的一个难点，在此记录下来，以供后期查阅和网友参考。本文中，主要是关于Ope...