逆流而上Mr李

原创 Flink面试大全总结（全文6万字、110个知识点、160张图）

添加作者微信：threeknowbigdata，备注Flink，获取文章PDF版本Hello，各位大数据学习爱好者，我是3分钟秒懂大数据公众号的作者土哥，目前在杭州某互联网大厂担任大数据算法工程师，组内专注于Flink流式计算组件以及AB融合技术，为了让更多朋友更清晰的了解流式计算组件，现在我以面试的方式为大家全面总结了Flink所涉及的知识点，全文总共6万字，涉及各种原理，以及源码分析，图片是一张张绘制而出，欢迎大家进行解读！在互联网行业，我们都知道薪资结构跟岗位存在直接关系，如下面这幅关..

原创 Flink-yarn-session集群提交模式

原创 史上最完整的AirFlow2.1.2版本安装教程

hello，大家好，我是阿周，上周我们讲解了AirFlow的一些基本概念，请看文章：学会AirFlow调度工作流平台，让你告别加班，老板还会升值加薪，但是只知道理论知识是不行的，所以接下来我将带领大家一块安装部署，通过实战学会airflow。1、Anaconda环境准备由于Airflow2.1.2版本依赖于python3高阶版本，但是服务器中一般默认python2.7.5版本，如下图：所以，我们直接通过部署miniconda,创建虚拟python3环境就可以满足airflow的要求。1.

原创 14天算法入门-第2天-双指针

关注并标星微信公众号3分钟秒懂大数据每天1次，打卡阅读获取AI大数据技术、面经、内推信息1、题目介绍：给你一个按非递减顺序排序的整数数组nums，返回每个数字的平方组成的新数组，要求也按非递减顺序排序。2、示例如下：3、解题思路：我们可以使用两个指针分别指向位置 0和 n-1，每次比较两个指针对应的数，选择较大的那个逆序放入答案并移动指针。这种方法无需处理某一指针移动至边界的情况，读者可以仔细思考其精髓所在。4、代码如下...

原创 14天算法入门-第1天-二分查找

Hello,各位小伙伴，我们都知道，在求职阶段，算法被作为大厂面试的一个核心考点，本阶段我将带领大家通过14天执行一个算法入门计划，具体内容如下：算法入门：第1天：二分查找第2天：双指针第3天：双指针第4天：双指针第5天：双指针第6天：滑动窗口第7天：广度优先搜索 / 深度优先有搜索第8天：广度优先搜索 / 深度优先有搜索...

原创 Spark-SQL绑定原理深入分析

上一篇文章Spark-SQL解析原来如此简单讲到了Spark-SQL通过Antlr4生成未解析的LogicalPlan。此时的LogicalPlan是Unresolve的，需要通过Catalog来绑定UnresolvedRelation 和UnresolvedAttribute，生成解析后的LogicalPlan。在Spark-SQL中，Catalog主要用于各种函数资源信息和元数据信息（数据库、数据表、数据视图、数据分区与函数等）的统一管理。Spark-SQL中的Catalog体系...

原创 硬核！10分钟解读Flink 状态原理(1)

关注并标星微信公众号3分钟秒懂大数据每天1次，打卡阅读获取AI大数据技术、面经、内推信息原文链接：硬核！10分钟解读Flink状态原理（1）前言关于Flink状态存储，同样是面试中的重点考察对象，经常被问到的问题如下：（1）什么是状态？（2）Flink状态类型包含哪些？（3）Flink 广播状态模式了解不？（4）Flink状态接口包含哪些？（5）Flink状态如何存储？（6）Flink状态如何持久化？（7）Flink状态过期后，如何清理？（8）状...

原创 详解ROC/AUC计算过程

ROC和AUC定义ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。ROC曲线的面积就是AUC（Area Under the Curve）。AUC用于衡量“二分类问题”机器学习算法性能（泛化能力）。Python中sklearn直接提供了用于计算ROC的函数[1]，下面就把函数背后的计算过程详细讲一下。计算ROC需要知道的关键概念首先，解释几个二分类问题中常用的概念：True Positive, False Positive, True