- 博客(727)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 各个网络层的维度信息是网络设计和优化的关键
在搭建神经网络时，各个网络层的维度信息是网络设计和优化的关键，它们共同决定了模型的表达能力、计算效率以及训练效果。
2025-09-21 16:37:58
122
原创 每天五分钟深度学习：通过人脸识别来解释深层神经网络的强大
我们通过如上所示的例子可以看到，随着神经网络层数的增多，神经网络经历了如下的学习过程：各个边缘特征->脸部轮廓->人是谁所以，当神经网络模型层数越多，神经网络提取到的特征就越来越明确。我们可以把神经网络的前几层当作探测简单的函数，比如边缘，然后后面的层探测复杂的特征，比如耳朵，眼睛，越往后越能学习到更加复杂的特征用于最终的人脸识别。它的过程就是从局部到整体，从简单到复杂的过程。这就是神经网络层数越多越强大的本质。
2025-09-21 16:37:18
357
原创 FLink：窗口分配器（Window Assigners）指定窗口的类型
在前面课程中我们学习了各种各样的窗口类型，本文我们来看一下如何在FLink中应用这些窗口，在FLink中通过窗口分配器完成这个工作，窗口分配器其实就是在指定窗口的类型。
2025-09-20 23:21:17
100
原创 每天五分钟深度学习：softmax回归的交叉熵损失的前向传播
神经网络非常善于处理分类问题，一般来说要想让神经网络完成多分类问题，我们常常使用softmax回归，它可以将神经网络的输出以概率的形式表示。分类问题一般使用交叉熵损失函数来进行优化，所以本文我们来看一下softmax回归在神经网络中的应用，以及交叉熵损失的计算。
2025-09-20 23:17:29
393
原创 按键分区和非按键分区对窗口计算的影响
如果我们要开启窗口计算，需要确定数据流是否按键分区，因为是否对数据流进行按键分区对窗口的计算是存在不同程度的影响的。
2025-09-17 23:42:00
29
原创 每天五分钟深度学习：深层神经网络的前向传播算法和反向传播算法
我们前面已经介绍了神经网络的前向传播算法和反向传播算法，但是介绍的是单隐层的神经网络，也就是不是深层的神经网络，本节课程我们将学习深层神经网络的前向传播算法和反向传播算法，其实一样的，就是前向传播多计算几层，反向传播多反向传播几层，没什么特殊的区别。
2025-09-17 23:41:27
121
原创 Flink框架中的窗口类别：时间窗口、计数窗口
在flink中窗口是有很多种类型的，不同类型窗口可以解决不同的问题，本文我们将对此进行系统的学习,从而掌握Flink中所有的窗口类型。
2025-09-16 23:30:33
113
原创 每天五分钟深度学习：深层神经网络的优势
在人工智能领域，深层神经网络（DNN）的崛起标志着技术范式的根本性转变。相较于传统浅层神经网络（如单层感知机、线性回归模型），深层网络通过引入多层隐藏层，实现了对复杂数据模式的深度解析与高效建模。
2025-09-16 23:27:14
574
原创 每天五分钟深度学习：神经网络的权重参数如何初始化
在逻辑回归的时候，我们可以将神经网络的权重参数初始化为0（或者同样的值），但是如果我们将神经网络的权重参数初始化为0就会出问题，上节课程我们已经进行了简单的解释，那么既然初始化为0不行，神经网络该如何进行参数初始化呢？神经网络的权重参数初始化是模型训练的关键步骤，直接影响收敛速度和最终性能。
2025-09-14 21:39:56
324
1
原创 一文搞懂Flink的水位线生成策略
我们现在应该已经知道了如何生成有序水位线和乱序水位线了，如果我们想要自定义水位线该如何操作呢？我们只需要自定义一个类，然后实现WatermarkStrategy接口，并且重写createTimestampAssigner方法和createWatermarkGenerator方法。其中createTimestampAssigner方法用于定义时间戳分配器，然后createWatermarkGenerator用于定义水位线生成策略周期性水位线生成器@Override@Override。
2025-09-08 23:03:41
40
原创 每天五分钟深度学习：为什么神经网络模型权重参数要随机初始化？
我们训练神经网络就是在训练神经网络中的参数，但是我们必须对神经网络的参数进行初始化操作，权重参数随机初始化是很重要的。对于逻辑回归，把权重初始化为 0当然也是可以的。但是对于一个神经网络，如果你把权重或者参数都初始化为 0，那么梯度下降将不会起作用。
2025-09-08 22:58:13
174
原创 FLINK:水位线的介绍
在前面的一节课程中我们学习了时间语义，其中有一个关键问题：分布式的Flink如何保证时间的统一?系统时间肯定是无法保证的，一定会有偏差，此时Flink引入了水位线的概念，水位线类似于一个逻辑时间，它依赖流中数据的事件事件来推动，从而保证分布式中每个节点都可以保证事件的统一，本文对此进行学习。
2025-09-07 14:24:07
251
原创 每天五分钟深度学习:前向算损失，反向算梯度，梯度下降更新参数
大家看这几章的时候可能会很难受，这是因为公式太多了，这里之所以放公式的原因就是告诉大家神经网络的前向传播和反向传播其实就是矩阵计算，没有什么神奇的地方，神经网络的训练就是前向传播计算损失，反向传播计算梯度，然后梯度下降完成参数更新，在实际搭建网络的时候，深度学习框架会帮助我们完成这个任务，所以我们对这个要有一个简单的认识，实际中不需要我们一步一步的计算，但是我们要知道它是大概这样计算的.
2025-09-07 14:20:28
52
原创 Flink中的事件时间、处理时间和摄入时间
今后的Flink课程中，标识一个数据的时间就是事件时间，就是这个数据产生的时间，无论经过什么样的传输，它的时间永远不会变化。
2025-09-06 13:03:32
97
原创 每天五分钟深度学习：神经网络的梯度下降和反向传播算法
在深度学习领域，神经网络通过模拟人脑神经元连接机制实现复杂模式识别与决策。其训练过程依赖两个核心算法：梯度下降用于优化模型参数，反向传播用于高效计算参数梯度。二者协同工作，构成神经网络从数据中学习的数学基础。
2025-09-06 12:58:20
588
原创 极大似然估计与概率图模型：统计建模的黄金组合
MLE的简洁性与普适性使其成为参数估计的“默认方法”，而概率图模型的图形化语言则为复杂概率关系的建模提供了直观框架。这种“用数据反推最可能参数”的直觉，正是极大似然估计的精髓。直接建模所有变量的联合概率（如“年龄、吸烟、咳嗽、肺癌同时发生的概率”）几乎不可能，因为变量数量指数级增长。概率图模型定义了变量间的结构关系（如“疾病→症状”），但具体参数（如“给定流感，发热的概率是0.8”）需通过数据学习。这一过程中，MLE提供了参数估计的数学工具，而概率图模型定义了问题的结构框架，两者缺一不可。
2025-09-06 00:02:50
620
原创 人工智能之数学基础:逻辑回归算法的概率密度函数与分布函数
逻辑回归（Logistic Regression）虽然名称中包含“回归”，但本质上是一种用于二分类问题的统计模型。其核心在于通过逻辑分布（Logistic Distribution）的概率密度函数与分布函数，将线性模型的输出映射到概率空间，从而实现对样本类别的预测。
2025-09-06 00:02:16
458
原创 flink中的窗口的介绍
现在有一个温度传感器，它不定时上报当前环境的温度。我们现在有一个任务就是每10分钟统计一次当前环境的温度（平均值）1分钟 462分钟 483分钟 457分钟 459分钟 4610分钟 4311分钟 4212分钟 4917分钟 4921分钟 4925分钟 4329分钟 45如果我们将它画出来，我们可以得到下面的图像：如上所示，定义了一个10分钟的时间窗口，每10分钟统计一次数据，从0分钟开始收集数据，到10分钟的时候，收集到了1，2，3，7，9这五个数据，此时窗口内的平均值为46。
2025-09-02 22:51:19
128
1
原创 人工智能之数学基础:分布函数对随机变量的概率分布情况进行刻画
设X是一随机变量，我们称函数为 X 的分布函数。如果将X看成是数轴上的随机点的坐标，那么，分布函数F(x)在x处的函数值就表示X落在区间（-∞，x） 上的概率。
2025-09-02 22:47:27
245
原创 零基础深度学习技术学习指南：从入门到实践的完整路径
深度学习是机器学习的一个分支，其核心是通过构建多层神经网络模型，自动从数据中学习复杂特征表示。与传统机器学习需要人工设计特征不同，深度学习模型能够通过反向传播算法自动优化特征提取过程。这种能力使其在图像识别、自然语言处理等领域取得了突破性进展。
2025-09-01 11:30:54
871
原创 一文搞懂FLink框架中的算子
Flink 是流式计算框架。我们编写Flink代码，其实就是定义了一连串的处理操作，我们定义每一个处理转换操作都叫作 “算子”（Operator），所以我们的程序可以看作是一串算子构成的管道，数据则像水流一样有序地流过，每流过一处，算子就要对数据进行一次处理，不同算子的功能是不同的。算子是数据流应用程序计算的基本单元，可以通过消费输入的数据进行一系列逻辑计算。比如我们之前学习的对文本文件中词频统计的flink程序，基于执行环境调用的socketTextStream()方法，就是一个读取文本流的输入算子。
2025-08-31 23:18:01
192
原创 人工智能之数学基础：连续型随机变量
连续型随机变量是指取值可以充满某个区间（或多个区间的并集）的随机变量。其取值无法逐一列举，而是构成一个连续的范围（如时间、长度、温度等）。例如：人的身高（可能取1.70m、1.701m、1.7012m……无限精确的值）测量误差（可能在[-0.1, 0.1]区间内连续变化）股票价格的波动（理论上可取任意实数值）
2025-08-31 23:14:54
262
原创 人工智能之数学基础：透过频率直方图理解概率密度函数
在之前的课程中我们学习了离散型的随机变量，我们开始学习连续型随机变量，在学习连续型随机变量之前，我们先来了解一下概率直方图和概率密度曲线。
2025-08-29 23:44:07
144
原创 人工智能之数学基础：离散型随机变量的概率分布有哪些?
在之前的课程中，我们学习了什么是离散型随机变量，本文我们将学习在概率中常见的离散型随机变量的概率分布。
2025-08-26 22:47:09
193
原创 逻辑流图、作业图、执行图、物理图
逻辑流图是用户编写的程序的抽象表示，作业图是逻辑流图经过优化和转换后的中间表示，执行图是作业图经过调度器分配资源后的最终表示，物理图是执行图经过资源分配和优化后的最终表示。这些图之间的转换和关系是Flink框架中实现流式计算的重要步骤。
2025-08-26 22:35:06
57
原创 人工智能之数学基础：离散型随机变量
前面我们介绍了随机变量具有两个类型，一个类型是离散型随机变量，另外一个类型是连续型随机变量。我们先来学习离散型随机变量。
2025-08-24 13:42:11
212
原创 控制并行处理任务的数量和资源分配：任务槽（Task Slots）
Flink任务运行在TaskManager中，每个TaskManager都是一个JVM进程，可以运行多个子任务，为了控制一个TaskManager可以运行的子任务的数量，就引入了任务槽的概念。任务槽是运行子任务的基本单位，它是一个可以执行任务的资源容器。每个任务槽在同一个时刻只能运行一个子任务，任务槽的数量决定了Flink应用程序的并行度，即可以同时处理的任务数量。我们可以把一个slot看成是一个线程。
2025-08-24 13:35:18
287
原创 Flink框架：算子链的介绍
在Flink中，算子链（Operator Chain）是一种优化技术，用于将多个算子连接在一起形成一个链式结构，以减少数据序列化和网络传输开销，提高整体的处理性能。
2025-08-23 11:43:22
110
原创 人工智能之数学基础：离散随机变量和连续随机变量
随机变量是概率论与统计学中的核心概念，用于将随机现象的抽象结果转化为可量化的数值。根据取值特性的不同，随机变量可分为离散型和连续型两大类。在前面的课程中我们学习了随机变量，随机变量可以理解为一个函数，通过这个函数我们就可以将随机试验中的结果数值化了，随机变量有两种类型，一种类型是离散型随机变量，另外一种类型是连续型随机变量。
2025-08-23 11:41:58
210
原创 一文搞懂FLink中算子的并行度
一个算子的子任务（subtask）的个数被称之为其并行度（parallelism）。它是一个重要的概念，对于优化作业的性能和资源利用非常关键，本文对此进行学习。
2025-08-21 23:11:35
52
原创 Flink作业执行的第一步：DataFlow graph的构建
通过DataFlow graph，可以清晰地了解Flink程序的数据流动和处理逻辑，可以方便地进行性能优化和调整，以提高程序的性能和吞吐量。。同时，DataFlow graph也是Flink作业在Flink集群上执行的基础，Flink会根据DataFlow graph来进行任务的划分和调度，将任务分配给不同的TaskManager进行执行。
2025-08-17 14:07:17
122
原创 人工智能之数学基础：随机变量
样本空间为Ω，然后wi是样本空间中的某个样本点，设置一个实值函数X，使得每一个样本点wi都有一个对应X(wi),这样就将样本空间中的每一个样本点数量化了，这个X(wi)就是随机变量，其实它是一个函数，我们一般使用X来表示。设 E 是随机试验，Ω是其样本空间。如果对每个ω∈Ω, 总有一个实数X(ω)与之对应，则称Ω上的实值函数 X(ω) 为 E 的一个随机变量随机变量通常用英文大写字母X,Y, Z 或 希腊字母ζ,η等表示，其取值一般用小写字母 x, y, z 等表示。
2025-08-17 14:05:20
180
原创 人工智能之数学基础：条件独立
条件独立性（Conditional Independence）是指，在给定某个随机变量或事件集合的条件下，两个或多个随机变量之间不再存在统计关联。其严格的数学表述为：设X,Y,Z为三个随机变量（或事件），若满足：或等价地：则称X与Y在给定Z的条件下条件独立。那么我们就可以认为事件X和事件Y关于事件Z独立，因为在事件Z发生的前提下，我们可以看到事件X并不会影响到事件Y，也就是说此时事件X和事件Y是独立的。这一定义揭示了条件独立性的本质：当已知信息Z时，X与Y。
2025-08-16 12:23:21
155
原创 人工智能之数学基础：如何理解事件的独立性？
若两事件 A, B 满足, 则称 A 与 B 相互独立。如果事件A和事件B独立，那么我们可以认为事件A和事件B之间没有任何影响。
2025-08-10 15:00:49
515
原创 人工智能之数学基础：事件独立性
如果P(B|A)=P(B)，或者P(A|B)=P(A)，则可以认为事件A并不会影响到事件B，专业术语是事件A和事件B独立。如果事件A和事件B独立，那么P(A,B)=P(A)P(B)示例：抛掷一枚均匀硬币两次，事件A="第一次正面朝上"，事件B="第二次反面朝上"。由于两次抛掷结果互不影响，显然：符合独立性的定义。
2025-08-08 23:31:08
387
原创 零基础深度学习规划路线：从数学公式到AI大模型的系统进阶指南
在人工智能革命席卷全球的2025年，深度学习已成为改变行业格局的核心技术。本规划路线整合最新教育资源与实践方法，为完全零基础的学习者构建一条从数学基础到AI大模型的系统学习路径。通过清华大佬的实战课程、吴恩达的经典理论、Kaggle竞赛的实战锤炼，最终掌握生成式AI、Transformer架构等前沿技术。
2025-08-08 23:27:38
1868
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人