- 博客(290)
- 收藏
- 关注
RSS订阅原创 深度学习笔记之BERT(一)BERT的基本认识
从本节开始，将介绍BERT系列模型以及其常见的变种形式，主要以逻辑认识为主；并将过去的关于Transformer的相关内容结合起来，形成通顺逻辑即可
2024-10-31 17:23:06
445
原创 python风格规范之Shadows name ‘XXX‘ from outer scope
规范错误/警告：Shadows name 'XXX' from outer scope
2023-12-26 14:47:09
799
1
原创 python风格规范之do not compare types, for exact checks use `is` / `is not`, for instance chec
规范错误/警告：do not compare types...
2023-12-25 11:52:38
631
原创 python风格规范之missing whitespace after
规范错误/警告：missing whitespace after ""...
2023-12-25 11:24:33
783
原创 深度学习笔记之优化算法(八)Adam算法的简单认识
上一节介绍了基于Nesterov动量与RMSProp的融合算法，本节将介绍《深度学习(花书)》P187 8.5自适应学习率算法中的最后一个算法：Adam算法。
2023-10-11 20:44:26
735
原创 深度学习笔记之优化算法(七)总结与延伸：使用Nesterov动量的RMSProp算法
上一节介绍了RMSProp算法，本节在其基础上进行延伸，介绍基于Nesterov动量的RMSProp算法。
2023-10-11 14:39:11
600
原创 深度学习笔记之优化算法(三)动量法的简单认识
上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。
2023-10-07 19:57:57
670
原创 深度学习笔记之优化算法(一)铺垫：梯度下降法VS最速下降法
从本节开始，将介绍深度学习中常见的优化算法。在介绍随机梯度下降之前，将针对最速下降法与梯度下降法之间差异性做一些说明。
2023-09-19 18:08:03
421
1
原创 机器学习笔记之无约束优化问题——(阶段性收尾)共轭方向法与Wolfe准则优化方法Python示例
本节使用Python对共轭梯度法的精确搜索与非精确搜索进行示例。
2023-09-16 18:17:07
904
原创 机器学习笔记之最优化理论与算法(十二)无约束优化问题——共轭梯度法
上一节主要介绍了共轭方向法的重要特征以及相关证明，本节将介绍共轭方向法的代表算法——共轭梯度法。
2023-09-13 13:44:34
1039
原创 机器学习笔记自最优化理论与方法(十一)无约束优化问题——关于共轭方向法重要特征的相关证明
上一节介绍了共轭方向法的朴素思想与几何意义。本节将继续介绍共轭方向法的重要特征以及相关证明。
2023-09-12 16:14:52
588
原创 机器学习笔记之最优化理论与方法(九)无约束优化问题——常用求解方法(下)
上一节介绍了牛顿法、拟牛顿法。本节将继续以拟牛顿法为基础，介绍DFP,BFGS方法。
2023-09-07 19:16:31
512
1
原创 机器学习笔记之最优化理论与方法(七)无约束优化问题——常用求解方法(上)
本节将介绍无约束优化问题的常用求解方法，包括坐标轴交替下降法、最速下降法。
2023-09-05 18:46:21
1367
原创 机器学习笔记之核函数再回首：Nadarya-Watson核回归python手写示例
本节从代码角度，介绍基于高维特征向量使用Nadaraya-Watson核回归的示例。
2023-08-29 18:24:07
1914
原创 机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析
上一节整体介绍了经典牛顿法，并讨论了其更新方向Pk是否为下降方向。本节将对经典牛顿法在迭代过程中的收敛性进行分析。
2023-08-22 19:27:00
2154
1
原创 机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析
上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q-线性收敛。本节将介绍在更强的条件下：函数f(⋅)在其定义域内二阶可微，梯度下降法在f(⋅)上的收敛速度存在什么样的结论。
2023-08-21 17:20:01
920
原创 机器学习笔记之优化算法(十五)Baillon Haddad Theorem简单认识
本节将简单认识Baillon Haddad Theorem(白老爹定理)，并提供相关证明。
2023-08-18 17:33:38
1095
原创 机器学习笔记之优化算法(十二)梯度下降法：凸函数VS强凸函数
本节将介绍凸函数/严格凸函数/强凸函数以及它们之间的联系(补梯度下降法：总体介绍中的坑)。
2023-08-09 19:11:42
2385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人