- 博客(31)
- 收藏
- 关注
RSS订阅原创 矩阵微分笔记（2）
本文介绍向量变元的实值标量函数、矩阵变元的实值标量函数中最基础的矩阵求导公式的数学推导。理解了按照定义的最基础的推导，才能理解一些求导的技巧
2023-12-30 10:54:04
481
原创 凸优化问题求解（2）
单纯形法从顶点到顶点搜索最优解- 当初始点远离最优解时- 需要很长的搜索代价X 而内点法在可行域内部进行搜索迭代的算法X 设当前点 x0 是可行集 D 的一个相对内点- 根据。是凸函数.对此类问题，当可行集不为空集时，Slater 条件成立，因而满足强对偶性.的解的近似解，而这一方法称为求解等式约束凸优化问题的 Newton法，称上述。： 称(3)为优化问题(2)的 EEh 系统，而称(3)的系数矩阵为(2)的。的解，当然当上述对偶问题是容易求解时，这个方法才是比较可行的.
2023-12-23 19:39:41
921
原创 无约束优化问题求解笔记（2）：最速下降法
学习了最速下降法，证明了最速下降法应用于二次正定函数时的收敛阶问题，还使用Python对其进行了简单实现
2023-12-21 17:04:37
611
原创 无约束优化问题求解笔记（1）
本笔记介绍无约束优化问题的迭代求解的基本理论和方法，给出了一般线搜索方法的收敛性定理- 主要介绍最速下降法- 共轭梯度法- 和 Newton 型方法
2023-12-20 20:51:24
998
原创 对偶问题笔记（2）
当优化问题在 $x^*$ 处满足 Abadie 约束条件时, 根据 Farkas 引理, 约束优化问题之局部解的一阶必要条件蕴含 $∇_{x}L(x^∗, λ^∗, µ^∗) = 0$, 其中 $L$ 是Lagrange 函数. 本笔记学习如何通过 Lagrange 函数中 Lagrange 乘子的作用, 导出对偶问题, 理解满足强对偶性的优化问题的条件, 对偶问题从完全不同的角度导出了KKT 条件, 并且说明约束优化问题的求解可以归结为求解对偶问题和一个无约束优化问题.
2023-12-19 17:06:38
930
原创 对偶问题笔记（1）
当优化问题在 $x^*$ 处满足 Abadie 约束条件时, 根据 Farkas 引理, 约束优化问题之局部解的一阶必要条件蕴含 $∇_{x}L(x^∗, λ^∗, µ^∗) = 0$, 其中 $L$ 是Lagrange 函数. 本笔记学习如何通过 Lagrange 函数中 Lagrange 乘子的作用, 导出对偶问题, 理解满足强对偶性的优化问题的条件, 对偶问题从完全不同的角度导出了KKT 条件, 并且说明约束优化问题的求解可以归结为求解对偶问题和一个无约束优化问题.
2023-12-18 21:18:24
1053
1
原创 凸函数笔记（2）
本笔记继续学习凸函数相关内容。学习了凸函数的结构, 以及拟凸函数的定义, 拟凸函数的性质和刻画, 拟凸函数的判定条件, 以及拟凸函数的典型保凸运算
2023-12-17 18:15:10
918
1
原创 变分自编码器（VAE）初识
这篇文章是对VAE模型的初步认识，包括动机、数学推导、Conditional VAE，以及它的实现。文章是学习自博客主的原贴，大多数内容是对原博主内容的学习，希望这篇文章能够帮助读者了解VAE。鉴于个人对VAE的理解有限，难免有疏忽和错误，请读者不吝指正。
2023-12-14 16:32:08
1303
1
原创 Pytorch：Tensorboard简要学习
本文简要介绍了 TensorBoard，介绍了TensorBoard的安装和启动（当然并不能够应付全部情况）以及几个简单函数的使用，借助这些功能，可以能够查看和调试我们训练的模型的内部工作，并最终提高它们的性能。
2023-12-12 11:49:39
1101
原创 Pytorch：模型的保存加载、模型微调、GPU的使用
首先第一部分学习了模型的保存与加载，介绍了两种模型保存与加载的方法， 然后迁移学习以及模型的微调技术，还介绍了迁移学习中常用的两个技巧。 第二部分学习了如何使用GPU加速训练和GPU并行训练方式， 最后贴上了Pytorch中常见的几种报错信息文档。
2023-12-11 16:07:35
1366
1
原创 Pytorch：正则化（L1、L2、Dropout）与归一化（BN、LN、IN、GN）
这次内容首先是正则化，正则化是一种缓解模型的过拟合问题的策略，我们学习了L2正则的原理，L1正则和L2正则的区别，然后学习了L2正则等价于权重衰减。 然后又学习了Dropout正则化，并且对比了一下L2正则和Dropout正则的效果。第二部分是标准化，这主要是解决网络层输出的数据尺度变化不一致的问题， 首先学习了Batch Normalization，学习了它的原理和具体的使用方法，然后又介绍了其他三种标准化方法， LayerNorm Normalization、Instance Normalizati
2023-12-10 17:30:22
1009
1
原创 Pytorch：优化器和学习率
这节内容第一部分先是优化器的介绍，然后了解了优化器的属性和方法，并通过代码调试的方式了解了优化器的初始化和使用原理。 重点是了解了动量（EMA）并且学习了学习了SGD优化器。第二部分介绍了学习率，并且知道了优化器中非常重要的一个参数就是学习率，所以最后又了解了学习率的6种调整策略。
2023-12-09 17:35:30
881
原创 Pytorch：模型的权值初始化与损失函数
这次损失函数整理的内容还是很多的， 主要分为两大块：权重初始化和损失函数， 第一部分是权重初始化方法，而第二部分是损失函数的介绍以及了解了几种损失函数的实现首先在第一节中提到权重的初始化方法，了解了神经网络中梯度消失和梯度爆炸的原理，也知道了权重初始化的重要性，针对各种情况学习了不同的初始化方法，重要的是Xavier初始化和Kaiming初始化方法， 分别针对非饱和激活函数和包含激活函数的网络。然后在第二节回顾了softmax中交叉熵的概念，对损失函数有了初步了解，补充了几点信息学的内容。
2023-12-08 17:16:49
1025
原创 Pytorch：网络层介绍（卷积层、池化层、线性层、激活函数层）和多层感知机
这次学习各个子模块的使用。 第一块内容是从比较重要的卷积层开始， 学习了1维/2维/3维卷积到底在干什么事情，采用了动图的方式进行演示， 卷积运算其实就是通过不同的卷积核去提取不同的特征。 然后学习了Pytorch的二维卷积运算及转置卷积运算，并进行了对比和分析了代码上如何实现卷积操作。第二块是池化运算和池化层的学习，然后了解了，最后是非线性激活函数。第三块就是了解一下多层感知机的概念。
2023-12-07 16:50:21
1236
原创 Pytorch：模型创建（Module）、模型容器（Containers）、AlexNet构建
首先学习模型的创建步骤和nn.Module的相关细节， 然后学习搭建模型的容器Containers，其中包括nn.Sequential, nn.ModuleList, nn.ModuleDict， 最后看看一个经典的网络AlexNet。
2023-12-06 20:59:04
995
1
原创 Pytorch：数据增强
介绍数据的预处理模块transforms的运行机制，了解一些transforms中常用的图像预处理方法，简要了解transforms的运行机制并了解数据标准化(Normalize)的使用原理。
2023-12-05 11:44:54
1107
1
原创 Pytorch：数据读取机制（DataLoader与Dataset）
自定义类"""rmb面额分类任务的Dataset:param data_dir: str, 数据集所在路径:param transform: torch.transform，数据预处理"""self.data_info = self.get_img_info(data_dir) # data_info存储所有图片路径和标签，在DataLoader中通过index读取样本img = self.transform(img) # 在这里做transform，转为tensor等等# 遍历类别。
2023-12-04 16:35:28
1463
原创 2021-09-06
若两个集合A和B之间存在一个双射，则称A和B等势一个无限集如果与自然数集N+等势，则称之为可数集，否则称为不可数集。两个有限集合等势的充分必要条件是A和B的元素个数相等
2021-09-06 11:31:10
58
原创 龙贝格公式(一道练习题的解答)
龙贝格公式下标规范:a-d:T=[];% 梯形公式序列S=[];% 辛普森公式序列C=[];% 科特斯公式序列R=[];% 龙贝格公式序列Y=[];U=[];I=[];S1=0;% 初始化S2=0;C1=0;C2=0;R1=0;R2=0;Y1=0;Y2=0;U1=0;U2=0;I1=0;I2=0;% 积分区间[0,48]a = 0;b = 48;h=b-a; % h为区间长度k=0; % 迭代次数计数器T1=h*(fun(b)+fun(a))/2;T
2021-04-14 19:17:19
880
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人