普通网友-CSDN博客

原创最新Flink 学习3 - 流处理API的基本转换算子 + 多流转换算子(2)，2024年最新大数据开发基础编程

DataStream -> KeyedStream：逻辑地将一个流拆分成不相交的分区，每个分区包含具有相同key的元素，在内部以hash的形式实现的。1、KeyBy会重新分区；2、不同的key有可能分到一起，因为是通过hash原理实现的；

2024-05-16 05:59:57 426

原创最新Flink CDC-Oracle CDC配置及DataStream API实现代码，驱动核心源码详解和Binder超系统学习资源

/源数据库连接配置文件!!**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。****[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)****一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2024-05-16 05:59:24 612

原创最新ElasticSearch部署全攻略——数据迁移_elasticsearch 数据迁移，大数据开发面试题整理2024简书

可将共享配置加入至磁盘配置文件中，使其开机自动挂载mount -a说明：mount -a为依据/etc/fstab中的配置，进行磁盘挂载。注：多主机以逗号分隔，如mountd:192.141.96.21,192.141.96.22。

2024-05-16 05:58:51 888

原创最新ElasticSearch第四章(数据同步和集群)，美团大数据开发开发工程师岗位职能要求

rocketmq的配置。

2024-05-16 05:58:18 214

原创大数据最新每天一道大厂SQL题【Day21】华泰证券真题实战(三)_##，不服不行

2.有表结构及数据如下，请完成相应查询。

2024-05-15 21:11:56 673

原创大数据最新每天一道大厂SQL题【Day08】服务日志SQL统计，2024年最新最新阿里大数据开发高级面试题及答案

快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！求11月9号下午14点（14-15点），访问/api/user/login接口的top10的ip地址实现。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。有一个线上服务器访问日志格式如下（用sql答题）点击下方卡片关注联系我进群。

2024-05-15 21:11:23 288

原创大数据最新每天一道大厂SQL题【Day08】服务日志SQL统计(1)，2024年最新离开小厂进大厂的第一周

有一个线上服务器访问日志格式如下（用sql答题）求11月9号下午14点（14-15点），访问/api/user/login接口的top10的ip地址实现。

2024-05-15 21:10:50 269

原创大数据最新每天一道大厂SQL题【Day05】活跃用户统计_求用户活跃数的题目(1)，2024年最新下血本买的

【代码】大数据最新每天一道大厂SQL题【Day05】活跃用户统计_求用户活跃数的题目(1)，2024年最新下血本买的。

2024-05-15 21:10:17 278

原创大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件(2)

我们已经对 Flink 的主要特性和部署提交有了基本的了解，那它的内部又是怎样工作的，集群配置设置的一些参数又到底有什么含义呢？接下来我们就将钻研 Flink 内部，探讨它的运行时架构，详细分析在不同部署环境中的作业提交流程，深入了解 Flink 设计架构中的主要概念和原理。一、系统架构对于数据处理系统的架构，最简单的实现方式当然就是单节点。

2024-05-15 10:23:12 342

原创大数据Flink（六十四）：Flink运行时架构介绍_flink中涉及到的大数据组件(1)

在 Standalone 部署时，因为 TaskManager 是单独启动的（没有Per-Job 模式），所以 ResourceManager 只能分发可用 TaskManager 的任务槽，不能单独启动新TaskManager。TaskManager 启动之后，JobManager 会与它建立连接，并将作业图（JobGraph）转换成可执行的“执行图”（ExecutionGraph）分发给可用的 TaskManager，然后就由 TaskManager 具体执行任务。而在有资源管理平台时，就不受此限制。

2024-05-15 10:22:36 410

原创大数据Flink面试考题___Flink高频考点,万字超全整理(建议)_flink选择题

Flink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编写分布式任务：DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理，支持 Java、Scala 和 Python。

2024-05-15 10:22:00 405

原创大数据Flink面试考题___Flink高频考点,万字超全整理(建议)_flink选择题(2)

Flink 核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink 提供了诸多更高抽象层的 API 以便用户编写分布式任务：DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用 Flink 提供的各种操作符对分布式数据集进行处理，支持 Java、Scala 和 Python。

2024-05-15 10:21:23 406

原创【云原生实践指北】5：真实业务场景下云原生项目落地实践学习_云原生指北(1)

大家学习云原生，肯定都很少听过云原生一些真实的场景下如何去运用如何去落地，只知道Docker能干嘛干嘛，K8s能用来高效能的管理容器编排，云原生能够赋能项目如何如何减小成本等等。那么本期文章就是笔者学习了一些的一些感想与学习记录。后续也会多写一些云原生落地实践方案的学习记录！腾讯云和阿里云等多家大厂都有很多云原生实践落地的开放文档或文章介绍，大家感兴趣的可以去百度一下看看多学习一下。不得不说，腾讯在推动国内云原生这条路上真的是走了很远！大家有空可以多去关注阿里云、腾讯云。

2024-05-15 01:44:46 912

原创【云原生 K8s系列第4篇】：实战查看Pod和工作节点_如何查看pod在哪个节点上运行

如果工作节点发生故障，则会在集群中的其他可用工作节点上调度相同的 Pod。例如，Pod 可能既包含带有 Node.js 应用的容器，也包含另一个不同的容器，用于提供 Node.js 网络服务器要发布的数据。Pod 中的容器共享 IP 地址和端口，始终位于同一位置并且共同调度，并在同一工作节点上的共享上下文中运行。工作节点可以有多个 pod ，Kubernetes 主节点会自动处理在集群中的工作节点上调度 pod。可以看到关于Pod容器的详细信息:IP地址、使用的端口和与Pod生命周期相关的事件列表。

2024-05-15 01:44:10 1040

原创【云原生 K8s系列第4篇】：实战查看Pod和工作节点_如何查看pod在哪个节点上运行(1)

了解 Kubernetes Pod。了解 Kubernetes 工作节点。对已部署的应用故障排除。

2024-05-15 01:43:34 990

原创【云原生 K8s系列特别篇】：一文速通实战Helm管理工具_非在线场景下 helm 是当前云原生应用的打包和交付的最佳选择之一。

Kubernetes使用yaml文件来描述和管理服务中各个组件的配置和部署需求，每个组件对应一个yaml文件。云服务通常都是由多个组件构成的，如何配置和处理好这些组件即多个yaml文件之间的关联关系，成为了Kubernetes应用的必须面对的。当云服务升级只涉及其中一个或某几个模块时，升级模块的新yaml文件和已有yaml文件之间的关联关系会变得更加复杂，增加了使用Kubernetes来配置和管理升级的难度。另外，Kubernetes把组件的配置信息也直接记录到yaml文件当中。

2024-05-15 01:42:58 950

原创 hive数据库delete删除部分数据删除分区内的数据_hive 删除数据(1)

这将删除名为my_table的表。请注意，这将删除表的元数据和数据。

2024-05-14 16:22:11 322

原创 Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(4)

【代码】Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(4)

2024-05-14 16:21:35 264

原创 Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(2)

然后使用hive命令换为Hive的控制台操作，结果依旧如此。

2024-05-14 16:20:59 278

原创 Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions(1)

启动Hive的JDBC服务并使用IDE连接到Hive，创建表成功，但是INSERT插入数据时经过长时间加载后无法得到预期结果，插入不成功。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎。中已弃用，并且在未来版本中可能不可用。

2024-05-14 16:20:23 286

原创 2024年最全数据结构--二叉树_#include 二叉树(5)，真香警告

由于现在大家对二叉树结构掌握还不够深入，为了降低大家学习成本，此处手动快速创建一棵简单的二叉树，快速进入二叉树操作学习，等二叉树结构了解的差不多时，我们反过头再来研究二叉树真正的创建方式。， }，把它的所有元素按完全二叉树的顺序存储方式存储在一个一维数组中，并满足：且 = 且 >= ) i = 0， 1，2…也就是说，如果一个二叉树的层数为K，且结点总数是，则它就是满二叉树。若规定根节点的层数为1，具有n个结点的满二叉树的深度， h= . (ps：是log以2为底， n+1为对数);

2024-05-14 07:44:07 562

原创 2024年最全数据结构 · 线性表单链表(1)，2024年最新31道大数据开发面试题

线性表（）是n个具有相同特性的数据元素的有限序列。线性表是一种在实际中广泛使用的数据结构，常见的线性表：顺序表、链表、栈、队列、字符串…线性表在逻辑上是线性结构，也就说是连续的一条直线。但是在物理结构上并不一定是连续的，线性表在物理上存储时，通常以数组和链式结构的形式存储。

2024-05-14 07:43:31 594

原创 2024年最全数据结构后缀表达式【深入剖析堆栈原理】_后缀表达式原理(1)，2024年最新精心整理

📚法则一：如果遇到一个运算符op以及左括号“（”，此时栈如果为空，则直接将其进栈📚法则二：若是遇到了操作数num，就将其直接输出📚法则三：如果栈不为空，则只有当op的优先级高于栈顶运算符优先级时才将其进栈，否则将栈顶op弹出📚法则四：若当前op进栈时发现栈中有与之相同op，则出栈其一，再加当前op压入栈中📚法则五：若遇到右括号，则开始弹出栈字符，直到左括号为止📚法则六：只要当遇到右括号“）”时，才从栈中弹出左括号“（”，否则一直遍历。

2024-05-14 07:42:55 587

原创 2024年最全数据湖Iceberg、Hudi和Paimon比较_数据湖框架对比，大数据开发中常见的面试题

Iceberg 社区基本盘还是在离线处理，它在国外的应用场景主要是离线取代 Hive，它也有强力的竞争对手 Delta，很难调整架构去适配 CDC 流更新。同时，Iceberg 扩展性强，对其它计算引擎也暴露的比较多的优化空间，但是这也导致后续的发展难以迅速，涉及到众多已经对接好的引擎。这并没有什么错，后面也证明了 Iceberg 主打离线数据湖和扩展性是有很大的优势，得到了众多国外厂商的支持。

2024-05-14 07:42:18 2962

原创 2024年大数据最新Mybatis学习之动态Sql_mybatisplus 封装简单sql在哪里(2)，大数据开发事件分发机制面试

答案：动态Sql指的是，Sql语句是变化的，不是固定写死的，他会有一定的判断条件，主要变化的地方就是Sql语句的where部分。

2024-05-13 22:55:56 296

原创 2024年大数据最新MQ高可用相关设置(1)，2024年最新最详细的解释小白也能听懂

相同的PID和SequenceNumber发送给Broker，而之前Broker缓存过之前发送的相同的消息，那么在消息流中的消息就只有一条(x2,y2)，不会出现重复发送的情况。顺序消费和并发消费的重试机制并不相同，顺序消费消费失败后会先在客户端本地重试直到最大重试次数，这样可以避免消费失败的消息被跳过，消费下一条消息而打乱顺序消费的顺序，而并发消费消费失败后会将消费失败的消息重新投递回服务端(在一个特色的队列中保存)，再等待服务端重新投递回来，在这期间会正常消费队列后面的消息。预设值的延迟时间间隔。

2024-05-13 22:55:21 623

空空如也

空空如也