逆流而上Mr李

我们发现，使用报表工具能有效降低开发成本，而开发报表的总成本中，工具本身的成本其实并不高，尤其是现在润乾报表这样的主流工具降价后成本都比不上一个初级工程师两周的工资了真正占大头的，其实是购买后隐形的使用成本以及遇到困难解决困难的人工成本，所以想要成本低，就得选一个开发效率高，性能好，又能协助解决数据准备难题的工具才可以，这样才能做到真正的低成本。...

国产数据库从0到1的介绍

大数据平台回归关系数据模型的原因

问题当在业务代码编写时，不可避免会涉及到对 Flink 源码中的一个或几个模块进行频繁更改，更改之后，需要验证代码的准确性，对需要对 Flink 源码进行编译打包。本文以Flink1.15.0 为例：当对 Flink 1.15.0 进行打包编译时，整体编译打包一次需要花费的时间在 30 分钟以上，如果频繁对其中一个模块进行代码修改，频繁打包，这样效率会非常低下。所以最好的解决办法就是：1、先对整体打包，在 flink-dist 添加不需要编译打包的配置项，形成 flink-dist.jar2、对

大家好，我是土哥。今天为大家带来 Flink checkpoint 核心知识点以优化方案，本文主要从以下几方面进行介绍：1 Checkpoint 执行流程2 checkpoint 执行失败问题分析3 非对齐checkpoint 优化方案4 动态调整 buffer 大小5 通用增量快照1 checkpoint 执行流程如上图所示，chechpoint 在执行过程中，可以简化为可以简化为以下四大步：在数据流中插入 checkpoint barrier；每执行到当前算子时，对算子 sta

分享一道蚂蚁金服JAVA实现全排列的代码在这里插入代码片package com.lyz.dataStructure.LeetCode;import java.util.List;import java.util.ArrayDeque;import java.util.ArrayList;import java.util.Deque;public class Solution{ public static void main(String[] args) { int

采用flink 1.13.2版本对flink on yarn per-job 模式进行流程分析及源码调试

大家好，我是土哥今天为大家带来流计算领域经常使用的组件 ElasticSearch，本文通过原理+实战操教程带领大家快速学会 ElasticSearch 搜索引擎，以下内容全部经过实战操作，可以根据文档进行学习~大纲如下：1 ElasticSearch 概述1.1 全文搜索引擎小伙伴们经常使用 google 或者百度进行搜索内容，在输入框中输入关键字，这个时候，网站会将包含 关键字 的所有网页返回，大家有没有想过，为什么输入关键字就可以查到结果呢？同时网站上返回的页面内容大多都是一些 非结构化

前言大家好，我是土哥写文章整整 五个月 了，在这期间写了很多篇高质量文章，每一篇都在 1000+ 阅读以上，为了让各位小伙伴更好的学习和面试，我将自己 发表的文章 以及 未发表的文章 全部汇总成一个文档，里面包含了全部的无水印高清图片，具体内容如下：关注公众号：【3分钟秒懂大数据】，回复关键字：【大数据】，进群领取 下文全部 PDF 文件。1、大数据学习路线文章硬不硬核，你说了算，土哥怒肝大数据学习路线一条龙！（万字长文+资源分享）上述文章将所有组件的安装包全部都收集好，版本

前言大家好，我是土哥。随着读者数量的不断增加，从8月底到10月中旬，3分钟秒懂大数据 公众号粉丝数已经突破7200+。短短几个月，看着越来越多的读者通过我写的文章而关注到该公众号，我好开心，同时也诚惶诚恐，害怕无法持续输出高质量文章，让读者失望。 但我知道，只有写出让读者心动的文章，才能得其心，土哥会好好加油，为大家持续输出精品文章的。有读者问我，对于大数据小白或者跨行业者，应该如何学习大数据呢？或者说有什么推荐的书籍或者网站？其实这个我很有心得啦，因为我研究生学的就是大数据与人工智

关注微信公众号：3分钟秒懂大数据 跟着土哥走，教你秒懂大数据前言大家好，我是土哥。自从写 Flink 系列文章，收到了太多读者的私信，希望我不断更新完善 Flink 专栏，为此，土哥还专门创建了一个文档，用来记录粉丝和读者在使用 Flink 组件时遇到的典型问题。由于 Flink 在大数据流计算中占据非常重要的位置，毫不夸张的说，已经被所有一二线互联网大厂所使用，并且 Flink 组件在 Apache 社区持续占据热...

前言大家好，我是土哥。最近在公司做 Flink 推理任务的性能测试，要对 job 的全链路吞吐、全链路时延、吞吐时延指标进行监控和调优，其中要使用 Flink Metrics 对指标进行监控。接下来这篇文章，干货满满，我将带领读者全面了解 Flink Metrics 指标监控，并通过实战案例，对全链路吞吐、全链路时延、吞吐时延的指标进行性能优化，彻底掌握 Flink Metrics 性能调优的方法和 Metrics 的使用。大纲目录如下：1 Flink Metrics 简介Flink Metri

前言大家好，我是土哥。这已经是我为读者写的第21篇Flink系列文章了。上周有粉丝在群里问，在流计算平台编写完Flink sql后，为什么通过一键提交按钮，就可以将sql提交到yarn集群上面了？由于现在各大厂对业务分层特别清晰，平台方向和底层技术开发会被单独划分，所以好多大数据同学编写完Flink Sql后，只需通过提交按钮将其提交到集群上，对背后的提交原理些许不太清楚。下面土哥将为大家揭开这层神秘的面纱，挖掘Flink Sql背后的提交原理和源码设计。（硬核文章，建...

大家好，我是土哥。今天，有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。以下教程全部使用 Flink1.13.2版本，在普通用户下面部署：1、Standalone部署版本要求：版本节点部署方式flink-1.13.2-bin-scala_2.11.tgz192.168.244.129standalone1.1 将软件安装包放入集群中1.2、软件包解压tar -zxvf flink-1.13.2-bin-scala_2.11

大家好，我是土哥。作为一名大数据算法工程师，需要有一些算法功底，但是学习算法又非常枯燥，冰冷的 文字+代码 往往使大部分读者在学习算法的道路上半途而废。今天呢，土哥就用 漫画+动图 的风格让我的读者轻松、愉快的学习算法，毕竟故事今天，小笨猪 阿土 收到了字节跳动的一面邀请邮件，约定3天后面试。这可把 阿土 高兴坏了，但是 阿土的算法水平比较差，他听说字节跳动每轮面试必考算法，所以心情很忐忑。这个时候，他的好朋友小美猪 阿梅 来找她玩耍，看到小笨猪闷闷不乐，于是问起了缘由，当得知字节跳动每轮都考

欢迎加博主微信：threeknowbigdata，拉你进大数据群、Flink流计算群大家好，我是土哥。目前在某互联网大厂担任大数据算法工程师。今天在查看Flink源码时，发现Flink1.14修复了很多bug，并且提了很多PR,其中完成了33个重要的新特性及优化。Bug修复可见部分截图：Improvement可见部分截图：新版本预计1-2周之内会发布，下面我将带领大家查看一下 Flink1.14的新特性都有哪些？1、流批一体优化流批一体其实从 Flink 1.9 版本开始就受到持续的关注

大家好，我是土哥。目前在某互联网大厂担任大数据算法工程师。今天有位粉丝在群里发信息，问有没有Flink DDL的使用资料，表示自己是为刚入门的学习者。为了让这位粉丝快速学会 Flink DDL 使用步骤，下面我将通过Kafka - Flink -Hive这个案例，讲解一下原理，并附上实战代码。1、Flink-Hive理论1.1、Flink-Hive介绍在Flink 1.11 版本中，社区新增了一大功能是实时数仓，可以通过kafka,将kafka sink端的数据实时写入到Hive中。为实现这

添加作者微信：threeknowbigdata，备注Flink，获取文章PDF版本Hello，各位大数据学习爱好者，我是3分钟秒懂大数据公众号的作者土哥，目前在杭州某互联网大厂担任大数据算法工程师，组内专注于Flink流式计算组件以及AB融合技术，为了让更多朋友更清晰的了解流式计算组件，现在我以面试的方式为大家全面总结了Flink所涉及的知识点，全文总共6万字，涉及各种原理，以及源码分析，图片是一张张绘制而出，欢迎大家进行解读！在互联网行业，我们都知道薪资结构跟岗位存在直接关系，如下面这幅关..