- 博客(76)
- 收藏
- 关注
RSS订阅原创 不同激活函数的区别
激活函数输出范围是否有梯度消失问题计算复杂度常用场景Sigmoid01(0, 1)01有高二分类、浅层网络Tanh−11(-1, 1)−11有高二分类、浅层网络ReLU0∞0∞无（有死神经元）低深层网络Leaky ReLU−∞∞−∞∞无低深层网络，负值敏感任务ELU−α∞−α∞无中深层网络Softmax01(0, 1)01有高多分类输出层Swish−∞∞−∞∞无中性能提升任务。
2024-11-19 21:13:38
862
原创 SE模块的原理与流程详解
通道注意力机制主要关注特征图的通道维度，为每个通道分配一个权重，从而对重要通道进行强化，对无关通道进行抑制。这种机制可以看作是特征选择的一种方式，目的是让网络更加专注于对任务有贡献的特征。SE模块通过Squeeze和Excitation两步操作，利用全局通道信息为每个通道分配权重，从而动态调整网络的特征响应。这种机制让网络能够更加精准地关注关键通道，显著提升了模型的性能，同时引入的计算开销很小，是一种高效、灵活的注意力机制。
2024-11-19 21:07:02
2533
原创 Softmax Temperature
Softmax 函数通常用于多类分类问题中，将一个实数向量（未归一化的 logits）转化为一个概率分布。Pyiexplogiti∑jexplogitjPyi∑jexplogitjexplogitilogitilogiti是第iii个类别的得分（logit），这些值通常是神经网络的输出。exp⋅exp⋅是指数函数，用于将 logits 映射到正数。
2024-11-17 11:05:27
1526
原创 enumerate函数用法
是 Python 中的一个内建函数，用于遍历可迭代对象（如列表、元组、字符串等）时，返回每个元素的索引和元素本身。它常常用于同时需要索引和元素的情况。返回的对象被转换为一个列表，其中每个元素是一个包含索引和元素的元组。循环或转换成其他数据结构（如列表）可以访问这些索引和元素。和字典推导式配合使用，生成一个以索引为键、元素为值的字典。对象，它是一个迭代器，包含了每个元素的索引和值。也可以用于字符串，返回每个字符的索引和字符本身。时同时获取元素的索引和值。
2024-11-17 10:16:07
977
原创 Embedding的用法
的每一行向量会在训练过程中通过梯度下降优化，使得这些向量捕捉到输入索引的语义或特征关系。嵌入向量的维度允许模型学习到输入索引之间的隐式语义关系。，Embedding 层会从矩阵中取出第。嵌入层的核心是一个可以学习的矩阵。Embedding 是一种将。一个随机初始化的嵌入矩阵。
2024-11-17 10:00:36
1847
原创 深入理解 DARTS
初始化：随机初始化架构参数α\alphaα和权重www。循环优化Step 1：在验证集上更新架构参数α\alphaααα−ηα∇αLvalw−ξ∇wLtrainwαααα−ηα∇αLvalw−ξ∇wLtrainwααStep 2：在训练集上更新网络权重wwwww−ηw∇wLtrainwαww−ηw∇wLtrainw。
2024-11-09 21:19:58
2052
原创 ENAS和DARTs的比较
ENAS：ENAS通过共享参数的方式，将架构搜索过程简化成一个单一的训练过程。在ENAS中，所有子网络共享相同的参数，因此在搜索阶段不需要为每个候选网络重新训练。具体来说，ENAS将整个搜索空间表示为一个大型图结构，每条边代表一个操作（如卷积、池化等），每个路径表示一个子网络。ENAS通过控制器（通常是一个RNN）来选择图中的路径，从而定义一个特定的子网络架构。DARTS：DARTS使用一种连续松弛的策略，将架构搜索转化为一个可微分的优化问题。
2024-11-09 11:45:50
976
原创 DARTs如何连续化的
背景：架构搜索中的操作选择问题在神经网络架构搜索（NAS）中，我们需要从一系列候选操作中选择适合每个节点的操作。这些操作可能包括卷积（Convolution）、池化（Pooling）、跳跃连接（Skip connection）等。在传统的 NAS 方法中，我们需要从这些候选操作中选择一个离散的操作，这会导致搜索过程较为复杂。DARTS 的创新点在于将这个离散的选择转化为连续权重优化问题，通过一个 Softmax 函数，使得每种操作都有一个连续的权重，从而可以用梯度下降等优化方法来学习。主要概念梳理
2024-11-09 11:14:22
1324
原创 SE结构详解
全局平均池化（Squeeze操作）zc1H×W∑i1H∑j1WXcijzcH×W1i1∑Hj1∑WXcijExcitation操作sσW2⋅ReLUW1⋅zsσW2⋅ReLUW1⋅z))重新加权操作Xcsc⋅XcXcsc⋅Xc总结。
2024-11-07 10:06:03
2624
原创 mAP的定义
*AP（平均精度）**衡量的是模型对单一类别的检测效果。它是精度和召回率的结合，反映了模型在所有可能的召回率阈值下的平均精度。Precision（精度）：预测正确的正样本数占总预测为正样本数的比例。Recall（召回率）：预测正确的正样本数占实际正样本数的比例。在目标检测任务中，通常通过不同的置信度阈值生成一组不同的Precision和Recall值，绘制成PR曲线（Precision-Recall Curve）。AP则是PR曲线下的面积，表示模型在各个召回率水平下的平均检测精度。mAP。
2024-11-06 20:35:41
1063
原创 FPN（Feature Pyramid Network）
FPN是一种多尺度特征提取网络，最初由 Tsung-Yi Lin 等人在2017年提出。FPN通过结合不同分辨率的特征图，来生成包含不同尺度信息的特征金字塔。FPN结构一般是在卷积神经网络（例如 ResNet）基础上增加的，用于目标检测任务中，以提高模型对小目标和大目标的检测能力。金字塔型特征（pyramid-type feature）指的是一种多尺度特征表示。通过这种特征表示，模型能够在多个尺度上检测物体，无论目标物体大小如何，都可以找到合适的尺度进行检测。FPN。
2024-11-06 15:47:16
1130
原创 目标检测的不同检测器
特点阶段数两阶段：候选区域生成 + 分类回归单阶段：直接分类和边界框回归代表模型检测速度较慢较快检测精度较高（适合复杂场景）较低（适合实时应用）应用场景对精度要求高的检测任务对速度要求高的实时检测任务总结：Two-stage detector适用于对检测精度要求较高的应用，而One-stage detector则适合实时性较高的任务。
2024-11-06 15:42:30
1054
原创 贝叶斯决策论
（Bayesian Decision Theory）是一种基于概率论的决策框架，用于处理不确定性和优化决策。它结合了贝叶斯定理和期望风险最小化的思想，广泛应用于分类、识别等问题中。
2024-10-22 16:04:11
1648
原创 自注意力机制与 Transformer 的关系
自注意力机制是 Transformer 的核心组件，负责建模输入序列中元素之间的全局依赖关系。是一种以自注意力机制为基础的神经网络架构，摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），并通过多头自注意力机制和前馈神经网络来处理序列数据。Transformer 的架构设计简洁高效，尤其适合并行计算，使其在自然语言处理、计算机视觉等领域取得了突破性进展。
2024-10-21 10:49:29
1836
原创 支持向量回归(SVR)
支持向量回归（SVR）是对 SVM 的扩展，用于回归问题。它通过引入ϵ\epsilonϵ-不敏感损失函数，允许预测值与真实值在一定范围内存在误差，并通过优化模型复杂度和误差的折中，找到一个最优回归模型。SVR 的最终决策函数类似于 SVM，仍然依赖于支持向量。
2024-10-19 10:44:37
7440
原创 SVM中的软间隔问题
我们今天将详细讨论问题的数学推导，特别是引入后的优化问题。软间隔 SVM 引入了和，使得它可以处理不可分数据，即允许某些数据点在分类时出现错误或违反间隔条件。
2024-10-19 10:29:42
1400
原创 支持向量机SVM原理详解
假设我们有一个线性可分的二分类问题，训练数据集表示为x1y1x2y2xnyn({(x1y1x2y2xnyn)})，其中xi∈Rdxi∈Rd) 是特征向量，yi∈−11yi∈−11) 是类标签。wTxb0wTxb0w( ww) 是法向量，决定超平面的方向。b( bb) 是偏置项，决定超平面与原点的距离。
2024-10-18 11:17:27
2483
原创 Diffusion Model
正向扩散过程通过逐渐添加噪声，将原始数据转换成高斯噪声。每一步的变化是通过一个条件概率公式来描述的，其中噪声的强度由βt\beta_tβt控制，随着时间步ttt增加，噪声的占比逐渐增大。多步扩散可以通过累积噪声来直接表示，将正向扩散过程的复杂性大大简化。逆向扩散过程的核心是从噪声逐步去噪并生成数据。每一步的生成可以表示为从一个高斯分布中采样，其中均值由神经网络模型预测。通过最小化真实数据和模型预测之间的KL散度，或者直接最小化噪声预测误差，模型可以学会如何通过逐步去噪恢复出高质量的数据。
2024-10-17 09:43:58
1144
原创 BP神经网络
BP（Backpropagation）神经网络是一种多层前馈神经网络，其训练过程使用反向传播算法。它是通过不断调整网络的权重和偏置，使预测值与实际值之间的误差最小化。以下是BP神经网络的主要原理：1. 网络结构BP神经网络通常包括以下几层：输入层：接收输入数据。隐藏层：通过加权求和和非线性激活函数对输入进行处理，可以有一个或多个隐藏层。输出层：给出最终的预测输出。2. 前向传播在训练过程中，数据通过神经网络的每一层传递：输入数据通过输入层进入网络。在隐藏层，每个神经元接收输入，计算加
2024-10-15 16:49:18
2344
原创 决策树C4.5如何处理缺省值
C4.5通过加权的方式有效处理缺失值，无需删除或填补缺失数据。这种灵活性使得它在应对真实世界中的数据集时表现优越，因为真实数据往往存在一定的缺失信息。C4.5的这种策略既能最大限度利用样本信息，又能减少信息损失，确保决策树的泛化能力更强。
2024-10-14 10:48:34
1075
原创 决策树C4.5算法详解及实现
C4.5通过使用信息增益率来选择最优的分裂特征，能够处理连续值和缺失值，并通过后剪枝来防止过拟合。这使得它比ID3更加灵活和实用，尤其在复杂的实际应用中。
2024-10-14 09:47:30
4705
原创 复合泊松过程方差推导
Xt∑i1NtYiXti1∑NtYiNt( N(t)Nt) 是参数为λ( \lambdaλ) 的泊松过程，表示在时间 ( t ) 之前发生的事件个数；Yi( Y_iYi) 是独立同分布的随机变量，表示每次事件对应的增量；Yi( Y_iYi) 独立于 ( N(t) )。
2024-10-13 15:28:53
1473
原创 复合泊松过程的特征函数推导
复合泊松过程YtY(t)YtYt∑k1NtXkYtk1∑NtXkNtN(t)Nt是强度为λ\lambdaλ的泊松过程，表示在时间ttt内发生的事件个数；XkX_kXk是一组独立同分布的随机变量，表示每次事件的独立增量。对于任意随机变量ZZZφZuEeiuZφZuEeiuZ其中，uuu是实数，iii是虚数单位。我们需要推导复合泊松过程YtY(t)Yt的特征函数φYt。
2024-10-12 11:09:57
1916
原创 复合泊松过程
EYt7500tEYt)]7500tVarYt416666.67tVarYt))416666.67t特征函数（Characteristic Function）是描述随机变量分布的一种工具，它可以捕捉随机变量的全部统计信息。φXtEeitXφXtEeitX其中，( t ) 是实数，( i ) 是虚数单位i−1i−1)，而 ( X ) 是一个随机变量。
2024-10-12 10:59:04
2335
原创 泊松过程到达时间分布
假设 ( {N(t), t >= 0} ) 是一个参数为λ\lambdaλ(N(0) = 0)。独立增量性：对任意的 (t_1 < t_2)，在 ( [t_1, t_2] ) 内发生的事件数 (N(t_2) - N(t_1)) 与过去事件无关，独立于 ([0, t_1]) 之前的事件数。定常增量性：任意时间段 ([t, t + h]) 内发生事件的数量 (N(t + h) - N(t)) 只依赖于长度 (h)，与 (t) 无关。在很短的时间间隔 (h) 内，发生 1 次事件的概率大约是 (λ。
2024-10-11 16:47:01
3439
原创 决策树原理及手写代码理解
决策树是一种树状结构，旨在通过一系列规则来进行决策。每个内部节点表示一个特征的测试，每个分支表示测试的结果，而每个叶子节点则代表最终的决策或分类结果。决策树是一种重要且直观的分类与回归工具，广泛应用于各种领域。它的灵活性和易于解释的特点使其成为机器学习中的热门选择。尽管面临过拟合和对噪声敏感等挑战，通过集成方法和适当的预处理，决策树依然在实际应用中表现优异。
2024-10-11 11:59:16
1612
原创 NAT Concept
NAT (Network Address Translation) is a method used in networks to modify network address information in the IP header of packets while they are in transit. NAT is typically implemented in a router or firewall to allow multiple devices on a local network to
2024-06-30 11:00:15
503
原创 OSPF Concept
OSPF (Open Shortest Path First) is a widely used interior gateway protocol (IGP) for routing in large enterprise networks. It is based on the link-state routing algorithm and operates within a single autonomous system (AS). Here’s a high-level overview of
2024-06-30 09:59:07
636
原创 使用 PyQt5 创建一个带有 WiFi 通信功能的 GUI 应用
通过 WiFi 连接到指定的 IP 和端口。接收并显示温度数据。实时显示当前时间。使用 eSpeak 进行文本转语音播报。Socket是网络编程中的一个抽象概念，代表了两个程序之间的通信端点。它允许程序通过网络进行数据传输，就像通过文件进行读写操作一样。Socket可以在同一台计算机上的不同进程之间通信，也可以在不同计算机上的进程之间通信。Socket是网络编程中的重要工具，通过它可以在不同设备之间进行数据通信。
2024-06-28 09:07:16
1292
原创 学生管理系统(基于Python中的sqlite和qt）
使用PyQt5库构建的图形用户界面（GUI）应用程序，它包含了学生管理系统和管理员管理系统。这个应用程序允许用户进行学生信息的注册、登录、查看、修改和删除，以及书籍库存的管理等功能。这段代码提供了一个完整的学生管理系统的实现，包括前台的学生交互界面和后台的数据库管理。它是一个典型的PyQt5应用程序，展示了如何使用事件驱动编程来创建交互式界面。
2024-04-21 14:42:59
2304
1
原创 Matlab计算器实验（GUI设计）
未开始是绿灯，玩家赢了是蓝灯，输了是红灯，平局则为黄灯。设置函数曲线颜色、类型等通过set函数来改变，需要注意的是，此时画好的函数图像在其他控件中，为了避免重复画图，减小代码量，通过设置一个全局变量，然后通过句柄索引赋值给set函数，从而改变当前所画图像的属性。设置函数曲线颜色、类型等通过set函数来改变，需要注意的是，此时画好的函数图像在其他控件中，为了避免重复画图，减小代码量，通过设置一个全局变量，然后通过句柄索引赋值给set函数，从而改变当前所画图像的属性。3、clear控件给显示框赋值为空。
2024-04-15 10:58:43
3612
1
原创 基于C++的学生管理系统
登录账户注册新账户查询、借阅和归还图书修改个人信息管理图书信息（仅限管理员）本文详细介绍了一个图书信息管理系统的设计和实现。通过面向对象的方法，我们将系统划分为多个模块，每个模块负责一部分功能，使得整个系统结构清晰、易于维护。通过这个系统，图书馆可以更高效地管理图书和用户信息，同时为用户提供便捷的服务。//Person类public:class Bookpublic:char sel;cout
2024-04-14 19:12:05
782
1
### Meta's Llama 3 AI Transforming Digital Assistance.docx
2024-06-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人