matlab
文章平均质量分 82
空
黎明鱼儿
简单而不平凡
展开
-
机器学习训练算法一(计算机求任意连续函数的导数计算方法)
最近几年人工智能正在如火如荼的飞速发展,用计算机完成机器学习变成了很多朋友的一种强烈需求;同时,在机器学习的训练方法中会用到很多的导数和偏导数,本人推荐一种用计算机CPU和GPU的强大的计算能力来求导数和偏导数的的近似的方法,同时使用Matlab/Python程序做实验来验证导数的近似结果的准确性。.........原创 2021-12-19 18:09:43 · 3463 阅读 · 0 评论 -
机器学习训练算法二(搜索任意一元函数的近似根)
搜索任意一元函数的近似根的方法原创 2021-12-19 21:05:16 · 982 阅读 · 0 评论 -
机器学习训练算法三(搜索任意一元函数的近似极值点)
搜索任意一元函数的近似极值点的方法原创 2021-12-19 21:34:02 · 732 阅读 · 0 评论 -
机器学习训练算法四(最小二乘问题)
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合,其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。原创 2021-12-23 13:32:09 · 1431 阅读 · 2 评论 -
机器学习训练算法五(梯度下降法)
梯度下降法在机器学习中应用十分的广泛,它的主要目的是通过迭代搜索到目标函数的最小值;梯度下降法可以类比为一个下山的过程...原创 2021-12-30 16:59:58 · 604 阅读 · 0 评论 -
机器学习训练算法六(最速下降法)
最速下降法和梯度下降法基本相同,就是选择该点梯度的反方向进行搜索;区别在于梯度下降法需要预先根据经验设定的步长值,而最速下降法则是在求出梯度方向后再搜索得到最优步长。原创 2021-12-31 17:27:22 · 971 阅读 · 0 评论 -
机器学习训练算法七(牛顿下降法)
通过求解目标函数的一阶导数为0时的参数,进而求出目标函数最小值时的参数。收敛速度很快。海森矩阵的逆在迭代过程中不断减小,可以起到逐步减小步长的效果原创 2022-01-04 21:03:20 · 767 阅读 · 0 评论 -
机器学习训练算法八(阻尼牛顿法)
由于原始牛顿下降法中没有步长因子,对于非二次型目标函数,有时会使函数值上升,这表明原始牛顿下降法不能保证函数值稳定的下降。原创 2022-01-04 21:23:09 · 1458 阅读 · 0 评论 -
机器学习训练算法九(高斯牛顿法)
高斯牛顿法针对最小二乘问题,采用一定的方法对牛顿法中的黑塞矩阵进行近似,从而简化了计算量(注意:只有最小二乘问题才能使用高斯牛顿法)。原创 2022-01-09 15:21:38 · 760 阅读 · 0 评论 -
机器学习训练算法十(列文伯格-马夸尔特法(LM 法))
列文伯格(1944)和马夸尔特(1963)先后对高斯牛顿法进行了改进,求解过程中引入了阻尼因子,将无约束最小二乘问题转变为有约束最小二乘问题。原创 2022-01-09 18:16:35 · 3197 阅读 · 5 评论 -
机器学习训练算法十一(模型训练算法-Matlab实验)
在机器学习中经常用梯度下降法、牛顿下降法、高斯牛顿法、列文伯格-马夸尔特法来训练模型,为了方便理解,本文严谨且详细的阐述了这几个算法的数学推导原理,并且用matlab程序加以实验验证。原创 2022-01-09 19:23:44 · 3956 阅读 · 1 评论