- 博客(319)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Strategy_Mode
策略模式主要用于一种行为模式，方便在算法的运行中不断的切换策略，有抽象类和具体类，是一种非常实用的设计方法。有利于程序的框架搭建和扩展。
2024-10-25 08:32:39
140
原创 线性代数|机器学习-P36在图中找聚类
假设我们有如下图结构：A0101101001011010D2000020000200002LD−A2−10−1−12−100−12−1−10−12。
2024-09-08 09:14:11
1028
原创 线性代数|机器学习-P35距离矩阵和普鲁克问题
假设有三个点x1x2x3,三个点距离如下：∣∣x1−x2∣∣21∣∣x2−x3∣∣21∣∣x1−x3∣∣2611≤6。
2024-09-07 09:38:29
1130
原创 线性代数|机器学习-P33卷积神经网络ImageNet和卷积规则
文章目录1. 卷积规则2. 循环卷积网路3. ImageNet1. 卷积规则2. 循环卷积网路3. ImageNet
2024-09-04 21:07:35
1144
原创 线性代数|机器学习-P32循环矩阵的特征向量-傅里叶矩阵
Cc0Ic1Pc2P2⋯cn−1Pn−1我们有一个循环矩阵C，n行n列，因为矩阵C的特殊性，其斜线上的元素相等，所以可得：Cc0cn−1⋮c1c1c0⋱c2c2c1⋱c3⋯⋯⋱⋯cn−1cn−2⋮c0;。
2024-08-31 09:54:28
1120
原创 线性代数|机器学习-P31完成一个秩为1的矩阵
m+n-1假设我们有一个矩阵A，我们定义其秩为1,，3行3列，具体组成如下：A3694a22a325a23a33;RankA1a2236⋅48;a2336⋅510;a3239⋅412;a3339⋅515;。
2024-08-30 10:46:22
738
原创 线性代数|机器学习-P28反向传播-求偏导
∂wσ1∂L∂y∂L⋅∂y0∂y⋅∂wσ1∂y0y−y⋅y⋅1−y)}⋅ah2∂w11∂L∂y∂L⋅∂y0∂y⋅∂wσ1∂y0⋅∂wσ1∂wσ1y−y⋅y⋅1−y)}⋅ah2。
2024-07-31 11:21:09
1068
原创 线性代数|机器学习-P27用于深度学习的神经网络结构
1. 卷积神经网络 CNNs– 2. 连续型线性分段函数 F– 3. 损失函数– 4. 链式法则计算反向传播算法梯度∇FgradFF∇FgradF。
2024-07-27 06:54:24
783
原创 线性代数|机器学习-P25线性规划和两人零和博弈
线性规划[LP]问题线性规划是问题为线性求最值，约束也是求线性关系的问题，具体参考线性规划学习笔记最大流-最小割问题最大流-最小割问题是一个对偶问题，具体参考最大流最小割学习笔记两人游戏-对偶问题拉格朗日乘子法拉格朗日乘子法的引入是为了解决约束条件下的最优问题，通过强对偶理论和弱对偶理论来转换目标函数，具体参考强对偶，弱对偶理论学习笔记LPmincTxstAxbx≥0xx1x2⋯xnT;
2024-07-23 21:38:58
1108
原创 最优化理论与方法-第十一讲-线性规划-单纯形法
min cTxst. Ax=b,x≥0\begin{equation}\begin{aligned}&\; \;\min\; c^Tx\\&st.\;\;Ax=b,x\ge 0\\ \end{aligned}\end{equation}mincTxst.Ax=b,x≥0– 假设定义域不是标准形，我们可以通过添加变量的方式进行转换– 原约束为不等式----> 添加变量 -----> 等式x1+2x2≤5→x1+2x2+x3=5,x3≥0\begin{equation}x
2024-07-23 08:26:12
744
原创 最优化理论与方法-第十一讲-线性规划-极方向的刻画
极方向是指从凸集的一点触发，无法被该点与其他店的连线所包含的方向。假设d是集合S的极方向，x是集合S的点，对于任意的λ≥0λ≥0x∈SSx∣Axbx≥0∀λ≥0∃dxλd≥0Axλdbx∈SSxAxbx≥0∀λ≥0∃dxλd≥0Axλdb。
2024-07-22 10:23:44
800
原创 最优化理论与方法-第十一讲-线性规划-极点的刻画
线性规划：目标函数为决策变量的线性函数，同时约束条件为线性等式或线性不等式约束LPmincTxstAxbx≥0&(LP)\;\min\;LPmincTxstAxbx≥0其中,c∈RnA∈Rm×nb∈Rmc∈RnA∈Rm×nb∈Rm，通常假设系数矩阵A行满秩，即rAmr(A)=mrAm我们记S为可行集，Sx∣Axbx≥。
2024-07-21 13:01:24
624
原创 最优化理论与方法-第十讲-补充，鞍点与强对偶
Pminfxstgix≤0i1⋯mhix0i1⋯lx∈XDλ≥0μmaxx∈XminLxλμLxλμfxi1∑mλigixi1∑lμihixx∈XPx∈Xminλ≥0μmaxLxλμLxλμfxi1∑mλigixi1∑l。
2024-07-20 14:12:06
1121
原创 最优化理论与方法-第十讲-弱对偶定理，强对偶定理
具体详见此节：vP)(P)vD)(D)vD≤vPfx)vP)vP≤fx)dλμ)vD)dλμ≤vD)dλμ≤vD≤vP≤fxxˉ∈S(λˉμˉλˉ≥0dλˉμˉfxˉvDvPdλˉμˉ≤vD≤vP≤fxˉdλˉμˉfxˉ→vDvP。
2024-07-19 15:37:59
1265
原创 网络流问题-Min-cut
最大流问题主要是关于有向图问题。有向图中有m个边，n个节点,其中有一个节点为s[source],还有一个终点t相当于从水源头s流向水槽，边上的数字表示水管边的最大容量。最大流的问题是在给定的容量情况下，就像给定如下图，如何计算这个图中每秒钟有多少水从起点s流向终点t.其实就是相当于在约束条件下求最大的值，也相当于约束条件下的优化问题最大流问题：– 输入：是一个有权重的有向图，里面有初始节点s[source], 最终节点t[sink– 目标：在约定的管道承载能力下求从s到t最大的流速。
2024-07-14 20:00:15
907
原创 线性代数|机器学习-P23梯度下降
Log-determinant regularization 通过在损失函数中加入一个负对数行列式项来约束矩阵X的结构。具体形式为Penalty−logdetXPenalty−logdetX))其中X通常是一个正定矩阵， 这一正则化项有利于确保X的特征值远离零，从而避免数值不稳定性和病态矩阵的出现。
2024-07-11 09:51:27
1217
原创 线性代数|机器学习-P22逐步最小化一个函数
主要讲的是无约束情况下的最小值问题。矩阵求导泰勒公式，函数到向量的转换梯度下降牛顿法梯度下降。
2024-07-10 08:25:45
1270
1
原创 [优化算法]梯度下降法-强凸函数的收敛性分析
fff有下界，m-强凸，可微∇f\nabla f∇f是L−LipschitzL−Lipschitz连续α∈02Lmα∈0Lm2则xk→Q−线性收敛x∗\{x_k \}\xrightarrow[]{Q-线性收敛}x^*xkQ−线性收敛x∗。
2024-07-08 14:56:59
637
原创 [优化算法]梯度下降法-白老爹定理
白老爹定理若fff凸函数可微，则有下列等价条件∇fL−Lipschitz∇fL−Lipschitz连续gxL2xTx−fxgx2LxTx−fx是凸的∇f\nabla f∇f有余强制性，即∇fx−∇fyTx−y≥1L∣∣∇fx−∇fy∣∣2∇fx−∇fyTx−y≥L1∣∣∇fx−∇fy∣∣2。
2024-07-08 05:47:16
562
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人