机器学习
文章平均质量分 95
介绍机器学习相关基础理论
静静的喝酒
静静的生活就好
展开
-
深度学习笔记之优化算法(二)随机梯度下降
本节将介绍随机梯度下降(Stochastic Gradient Descent,SGD)原创 2023-09-28 11:37:54 · 244 阅读 · 0 评论 -
深度学习笔记之优化算法(一)铺垫:梯度下降法VS最速下降法
从本节开始,将介绍深度学习中常见的优化算法。在介绍随机梯度下降之前,将针对最速下降法与梯度下降法之间差异性做一些说明。原创 2023-09-19 18:08:03 · 317 阅读 · 1 评论 -
机器学习笔记之无约束优化问题——(阶段性收尾)共轭方向法与Wolfe准则优化方法Python示例
本节使用Python对共轭梯度法的精确搜索与非精确搜索进行示例。原创 2023-09-16 18:17:07 · 566 阅读 · 0 评论 -
机器学习笔记之最优化理论与算法(十二)无约束优化问题——共轭梯度法
上一节主要介绍了共轭方向法的重要特征以及相关证明,本节将介绍共轭方向法的代表算法——共轭梯度法。原创 2023-09-13 13:44:34 · 776 阅读 · 0 评论 -
机器学习笔记自最优化理论与方法(十一)无约束优化问题——关于共轭方向法重要特征的相关证明
上一节介绍了共轭方向法的朴素思想与几何意义。本节将继续介绍共轭方向法的重要特征以及相关证明。原创 2023-09-12 16:14:52 · 459 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍
本节将介绍共轭梯度法,并重点介绍共轭方向法的逻辑与几何意义。原创 2023-09-10 22:06:08 · 713 阅读 · 0 评论 -
机器学习笔记之最优化理论与方法(九)无约束优化问题——常用求解方法(下)
上一节介绍了牛顿法、拟牛顿法。本节将继续以拟牛顿法为基础,介绍DFP,BFGS方法。原创 2023-09-07 19:16:31 · 464 阅读 · 1 评论 -
机器学习笔记之最优化理论与方法(八)无约束优化问题——常用求解方法(中)
本节将继续介绍无约束优化问题的常用求解方法,包括牛顿法、拟牛顿法。原创 2023-09-07 12:16:44 · 746 阅读 · 0 评论 -
机器学习笔记之核函数再回首:Nadarya-Watson核回归python手写示例
本节从代码角度,介绍基于高维特征向量使用Nadaraya-Watson核回归的示例。原创 2023-08-29 18:24:07 · 1457 阅读 · 0 评论 -
机器学习笔记之优化算法(二十)牛顿法与正则化
本节我们介绍经典牛顿法在训练神经网络过程中的迭代步骤,并介绍正则化在牛顿法中的使用逻辑。原创 2023-08-25 20:44:35 · 860 阅读 · 0 评论 -
机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析
上一节整体介绍了经典牛顿法,并讨论了其更新方向Pk是否为下降方向。本节将对经典牛顿法在迭代过程中的收敛性进行分析。原创 2023-08-22 19:27:00 · 1422 阅读 · 1 评论 -
机器学习笔记之优化算法(十八)经典牛顿法
本节将介绍优化算法——经典牛顿法(Newton Method)。原创 2023-08-21 20:34:16 · 818 阅读 · 1 评论 -
机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析
上一节介绍并证明了:梯度下降法在强凸函数上的收敛速度满足Q-线性收敛。本节将介绍在更强的条件下:函数f(⋅)在其定义域内二阶可微,梯度下降法在f(⋅)上的收敛速度存在什么样的结论。原创 2023-08-21 17:20:01 · 681 阅读 · 0 评论 -
机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明
本节将介绍:梯度下降法在强凸函数上的收敛性,以及证明过程。原创 2023-08-20 22:03:38 · 1573 阅读 · 0 评论 -
机器学习笔记之优化算法(十五)Baillon Haddad Theorem简单认识
本节将简单认识Baillon Haddad Theorem(白老爹定理),并提供相关证明。原创 2023-08-18 17:33:38 · 924 阅读 · 0 评论 -
机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性
本节将介绍梯度下降法在凸函数上的收敛性。原创 2023-08-11 18:20:45 · 1093 阅读 · 1 评论 -
机器学习笔记之优化算法(十三)关于二次上界引理
本节将介绍二次上界的具体作用以及它的证明过程。原创 2023-08-11 11:54:16 · 990 阅读 · 0 评论 -
机器学习笔记之优化算法(十二)梯度下降法:凸函数VS强凸函数
本节将介绍凸函数/严格凸函数/强凸函数以及它们之间的联系(补梯度下降法:总体介绍中的坑)。原创 2023-08-09 19:11:42 · 1346 阅读 · 0 评论 -
机器学习笔记之优化算法(十一)凸函数铺垫:梯度与方向导数
本节作为介绍凸函数的铺垫,简单介绍方向导数与梯度。原创 2023-08-07 19:48:45 · 543 阅读 · 0 评论 -
机器学习笔记之优化算法(十)梯度下降法铺垫:总体介绍
从本节开始,将介绍梯度下降法(Gradient Descent,GD)。原创 2023-08-05 17:32:05 · 750 阅读 · 0 评论 -
机器学习笔记之优化算法(九)收敛速度的简单认识
本节对收敛速度简单介绍。原创 2023-08-03 18:41:27 · 2239 阅读 · 0 评论 -
机器学习笔记之优化算法(八)简单认识Wolfe Condition的收敛性证明
上一节介绍了非精确搜索方法——Wolfe准则。本节将简单认识:Wolfe准则的收敛性证明。原创 2023-08-03 11:47:51 · 1303 阅读 · 0 评论 -
机器学习笔记之优化算法(七)线搜索方法(步长角度;非精确搜索;Wolfe Condition)
上一节介绍了Glodstein准则(Glodstein Condition)及其弊端。本节将针对该弊端,介绍Wolfe准则(Wolfe Condition)。原创 2023-08-02 13:55:57 · 1146 阅读 · 1 评论 -
机器学习笔记之优化算法(六)线搜索方法(步长角度;非精确搜索;Glodstein Condition)
上一节介绍了Armijo准则(Armijo Condition),本节将继续介绍Glodstein准则(Glodstein Condition)。原创 2023-08-01 15:11:01 · 1171 阅读 · 3 评论 -
机器学习笔记之优化算法(五)线搜索方法(步长角度;非精确搜索;Armijo Condition)
本节介绍Armijo Condition。原创 2023-07-31 18:01:16 · 1346 阅读 · 0 评论 -
机器学习笔记之优化算法(四)线搜索方法(步长角度;非精确搜索)
上一节介绍了从精确搜索的步长角度观察了线搜索方法,本节将从非精确搜索的步长角度重新观察线搜索方法。原创 2023-07-30 15:52:05 · 1228 阅读 · 0 评论 -
机器学习笔记之优化算法(三)线搜索方法(步长角度;精确搜索)
上一节介绍了从方向角度认识线搜索方法,本节继续介绍:从步长角度认识线搜索方法。原创 2023-07-28 19:05:26 · 977 阅读 · 0 评论 -
机器学习笔记之优化算法(二)线搜索方法(方向角度)
上一节对优化问题进行了简单描述,并从逻辑认知的角度介绍了线搜索方法与信赖域方法。本节将关注线搜索方法,并重点关注它的方向部分。原创 2023-07-28 15:25:32 · 900 阅读 · 0 评论 -
机器学习笔记之优化算法(一)无约束优化概述
从本节开始,将介绍优化算法(Optimization Algorithm)。原创 2023-07-27 20:38:51 · 744 阅读 · 0 评论 -
深度学习笔记之Transformer(五) Position Embedding铺垫:Word2vec
在Transformer(三)自注意力机制一节中介绍了位置编码(Position Embedding),本系列针对位置编码再回首,从公式角度重新任务位置编码。本节作为铺垫,介绍以下词向量模型——Word2vec。原创 2023-07-06 19:13:38 · 967 阅读 · 0 评论 -
深度学习笔记之循环神经网络(十)基于循环神经网络模型的简单示例
本节我们将前面介绍的几种循环神经网络——RNN,LSTM,GRU关于实例中的一个演示,但重点并不仅在于这些模型,这里以示例的形式对One-hot向量重新进行认知。原创 2023-06-02 17:49:13 · 664 阅读 · 0 评论 -
深度学习笔记之循环神经网络(九)GRU的反向传播过程
上一节介绍了门控循环单元(Gate Recurrent Unit,GRU),本节我们参照LSTM反向传播的格式,观察GRU的反向传播过程。原创 2023-06-01 17:27:28 · 991 阅读 · 0 评论 -
深度学习笔记之循环神经网络(八)LSTM的轻量级变体——门控循环单元(GRU)
上一节介绍了从反向传播过程的角度认识\text{LSTM}LSTM如何抑制梯度消失的问题。本节以LSTM的问题为引,介绍它的一种轻量级变体——门控循环单元。原创 2023-05-29 18:13:28 · 1133 阅读 · 0 评论 -
深度学习笔记之循环神经网络(七)反向传播角度观察LSTM
上一节介绍了循环神经网络反向传播中存在的梯度消失问题,并以此为引介绍了长短期记忆神经网络(Long-Short Term Memory,LSTM)。本节将从反向传播角度观察为什么LSTM能够抑制梯度消失的情况。原创 2023-05-26 13:20:55 · 1010 阅读 · 0 评论 -
深度学习笔记之循环神经网络(六)长短期记忆神经网络(LSTM)
上一节介绍了循环神经网络(Recurrent Neural Network,RNN)的反向传播过程,本节将针对RNN存在的梯度消失问题,介绍一种新的网络——长短期记忆神经网络(Long-Short Term Memory,LSTM)。原创 2023-05-24 18:29:06 · 1026 阅读 · 0 评论 -
深度学习笔记之循环神经网络(四)铺垫:Softmax函数的反向传播过程
上一节介绍了递归神经网络前馈计算过程的基本逻辑,以及作为语言模型时,衡量一个语言模型的优劣性指标——困惑度。本节介绍Softmax函数的反向传播(Backward Propagation,BP)过程。原创 2023-05-22 18:16:00 · 1261 阅读 · 2 评论 -
深度学习笔记之循环神经网络(五)循环神经网络的反向传播过程
上一节介绍了Softmax回归的反向传播过程。本机将介绍递归神经网络的反向传播过程。原创 2023-05-23 16:09:12 · 545 阅读 · 0 评论 -
深度学习笔记之循环神经网络(三)循环神经网络思想
上一节介绍了基于统计算法的语言模型。本节将介绍基于神经网络的序列模型——递归神经网络。原创 2023-05-18 16:48:25 · 509 阅读 · 0 评论 -
深度学习笔记之循环神经网络(二)基于统计算法的语言模型
上一节介绍了包含序列特征的数据,并介绍了处理序列数据的一些模型思想。本节从文本这类序列数据的角度,介绍学习文本特征的基于统计算法的语言模型。原创 2023-05-17 15:33:24 · 394 阅读 · 0 评论 -
深度学习笔记之循环神经网络(一)引子:序列模型
从本节开始,将介绍递归网络系列。本节将介绍序列模型。原创 2023-05-16 18:20:34 · 450 阅读 · 0 评论