- 博客(28)
- 收藏
- 关注
RSS订阅原创 Hadoop 部署
Hadoop部署，一键开启大数据之旅！在几台廉价服务器上，轻松构建高效、可靠、可扩展的分布式计算平台。HDFS存储海量数据，MapReduce加速处理，为数据分析和挖掘提供强大动力。无需深究底层细节，轻松驾驭大数据时代！
2024-06-27 11:41:24
929
原创 Flink 资源静态调度
本内容是根据 FLink 1.18.0-sacla_2.12 版本源码梳理而来。本文主要讲述任务提交时，为 Task 分配资源的过程。
2024-06-19 16:13:48
1028
原创 强化学习4：DQN 算法
深度 Q 网络（Deep Q-Network，DQN）是一种基于深度学习的强化学习算法，用于解决马尔科夫决策过程（MDP）中的控制问题。DQN算法结合了深度神经网络和Q-learning算法，通过近似值函数来学习最优策略。
2024-05-22 11:04:40
885
原创 Flink JobMaster 调度源码分析3：Physical Slot 分配过程
在Apache Flink中，Slot是用于执行并行任务的基本单位。Physical Slot分配策略是指如何有效地将任务分配给可用的Slot。
2024-05-16 16:39:59
711
原创 VSCode 配置 CMake
CMake是一个跨平台的开源构建工具，用于自动化构建过程。它可以生成标准的构建文件，从而简化了项目的构建和管理过程。
2024-04-26 07:33:40
4784
4
原创 强化学习3：SARSA 算法
SARSA算法是一个在线学习算法，它在每一步都更新值函数，因此可以在动态环境中实时学习最优策略。与Q-learning算法相比，SARSA算法考虑了代理在下一个状态下选择的动作，因此更适合用于需要考虑探索与利用平衡的任务。
2024-04-22 15:24:24
905
1
原创 强化学习2：Q-learning 算法
Q-learning是一种基于强化学习的算法，用于解决智能体在未知环境中做出决策的问题。在Q-learning中，智能体通过不断地与环境交互，学习到一个值函数Q，该值函数表示在某个状态下采取某个动作所能获得的长期回报。通过不断地更新Q值，智能体能够逐步优化其策略，最终实现在未知环境中做出最优决策的目标。
2024-04-17 21:14:51
1128
原创 VSCode 配置 C/C++ 环境
该文章详细介绍了如何在 VSCode 中安装必要的插件、配置编译器和调试器，以及如何创建和管理 C/C++ 项目。通过阅读这篇文章，读者可以快速地搭建起适合 C/C++ 开发的工作环境，提高开发效率和代码质量。
2024-04-17 21:10:58
2009
原创 强化学习1：基本原理
一般机器学习分为有监督学习和无监督学习，它们的区分依据是用于训练的数据集中是否提供预期输出来指导学习。而强化学习不属于这两种里面的任何一个，因为他不需要事先准备数据集，而是通过与环境交互获取训练数据，然后通过一种称为奖励的概念来指导学习。
2024-03-22 15:24:08
1367
1
原创 Flink JobMaster 调度源码分析2：Slot 分配策略
在Apache Flink中，Slot是用于执行并行任务的基本单位。Slot分配策略是指如何有效地将任务分配给可用的Slot，以最大化资源利用率和任务执行效率。
2024-03-22 14:49:25
1239
2
原创 Flink JobMaster 调度源码分析1：调度过程
在Flink中，调度是指将作业的任务分配到集群中的计算资源并管理任务的执行的过程。Flink的调度器负责根据作业的拓扑结构和资源需求，将任务分配给集群中的TaskManager节点，并监控任务的执行状态。调度器还负责任务的故障恢复和任务的重新调度，以确保作业的正确执行。Flink的调度器支持动态资源分配和任务优先级调度，可以根据作业的需求和集群的资源情况进行灵活的调度策略。通过高效的调度管理，Flink能够实现作业的高性能和高可靠性。
2024-03-20 13:03:50
794
1
原创 Flink 拓扑图源码分析：拓扑图创建与提交过程
在Flink中，拓扑图提交过程是将用户编写的数据处理逻辑转换为实际可执行的作业并提交到集群运行的过程。首先，用户编写Flink程序，定义数据源、转换操作和输出目标等。然后，Flink会将这些操作转换为一个有向无环图(DAG)，表示数据处理流程。接着，Flink会将DAG图优化并生成作业图，包括任务的划分和调度策略。最后，Flink会将生成的作业图提交给集群管理器，启动作业执行。整个过程涉及到作业图的生成、优化和提交，确保用户编写的程序能够高效地在集群上执行。
2024-03-20 13:01:31
1264
1
原创 Flink 数据分区源码分析：分区策略
Flink 数据分区策略是用于将数据分发到不同的并行任务中的一种机制。它可以根据不同的需求和场景来选择合适的分区策略，以提高任务的并行度和性能。选择合适的数据分区策略可以帮助提高任务的并行度和整体性能。 Flink 提供了丰富的数据分区策略供用户选择，也支持自定义分区策略来满足特定的业务需求。
2024-01-03 17:49:35
545
1
原创 Flink window 源码分析4：WindowState
Flink window 源码分析4：WindowState。根据源码，分析了一些WindowState相关的问题。
2024-01-02 14:03:22
1261
原创 Flink window 源码分析3：WindowOperator
WindowOperator 是真正负责 Flink 窗口中元素存储和计算流程的核心类。
2023-12-20 20:38:26
1027
1
原创 Flink window 源码分析2：Window 的主要组件
分析了 Flink 的窗口（Window）的三个关键组件：WindowAssigner、Trigger、Evictors。对这三个组件进行了介绍，并分析了相关代码。
2023-12-20 20:36:29
474
1
原创 Flink 配置3：kubernetes(K8S) 部署 Flink 集群环境
基于 kubernetes(K8S) 部署 Flink 集群环境。
2023-12-05 15:26:25
995
原创 Flink 配置4：Flink Metric 配置
使用 prometheus、pushgateway、grafana 配置 Flink metric，用以监控 Flink 运行时性能。
2023-11-19 22:07:38
654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人