机器学习理论知识
文章平均质量分 79
再给一碗吧
读博是一场战役
展开
-
Convex-ConCave Procedure(CCCP) 凹凸规划 高效的问题分解求解方法
最近接触了 ramp loss这个loss 优劣参半, 很烦的就是这个函数它虽然连续和鲁棒,但是 不可微 非凸DC分解 以及 CCCP规划 在这个问题上就蛮适用CCCP规划,本质上是寻找两个凸函数之间梯度相同的两个点,即逐步减小两个函数之间的距离,使其收敛到距离最接近的点。Convex-Concave procedure(凹凸过程)CCCP是一种单调递减全局优化的方法。其形式可以表示为凸函数-凸函数 或者 凸函数+凹函数。————————————一、问题模型:DC(difference of原创 2021-10-07 01:42:35 · 3993 阅读 · 12 评论 -
随机方差缩减方法 - SAGA 与 非凸近端变体 ProxSAGA: proximal SAGA
转载自https://blog.csdn.net/u011961856/article/details/77771493SGD(Stochastic Gradient Descent) 随机梯度下降算法对于目标函数:目标函数优化步骤:1.随机旋转索引j,即函数fj(x)fj(x);2.更新参数x,采用sgd公式为:SAGA(STOCHASTIC VARIANCE REDUCTION METHODS)随机方差缩减方法目标函数优化步骤:1.随机旋转索引j,即...原创 2021-02-07 21:56:36 · 1532 阅读 · 0 评论 -
知识总结:经验风险最小化
1. 损失函数和风险函数这句话要理解: 损失函数L() 度量模型一次预测的好坏,风险函数R() 度量平均意义下模型预测的好坏。常用的损失函数有以下几种:(1)0-1损失函数(0-1 loss function) (1)(2)平方损失函数(quadratic loss function) ...原创 2020-11-24 22:16:21 · 4543 阅读 · 0 评论 -
广义可加模型GAM在python上的复现
转自: 比较新的一篇GAM在python上的简易复现https://blog.csdn.net/qq_41103204/article/details/104679779目录1 安装pyGAM 2 分类案例 2.1 基本使用 2.2 部分依赖图(Partial dependency plots) 2.3 调整光滑度和惩罚 2.4 自动调参 3 完整的pyGAM模型 4 测试参数 4.1 测试惩罚项 4.2 测试样条函数的数量 4.3 测试不同的约...原创 2020-11-08 19:33:50 · 7475 阅读 · 3 评论 -
25个常见网络
深度学习发展很快,新的模型层出不穷,所以要想全部列举是不可能的。另外,很多模型都是这里提出很长很长时间了,所以也不是说“老”模型就没用,大家学习的话,还是要全面而深入的学习。1、 Feed forward neural networks (FF or FFNN) and perceptrons (P)前馈神经网络和感知机,信息从前(输入)往后(输出)流动,一般用反向传播(BP)来训练。算是一种监督学习。2、Radial basis function (RBF)径向基函数网络,是一种径向.原创 2020-10-21 11:14:39 · 1298 阅读 · 0 评论 -
TensorFlow和Keras两种方式搭建的网络如何统一?
转自: https://blog.csdn.net/u014475479/article/details/84709301前言最近实验室碰到一个奇怪的需求,大家分别构建不同的NLP模型,最后需要进行整合,可是由于有的同学使用的是keras,有的同学喜欢使用TensorFlow,这样导致在构建接口时无法统一不同模型load的方式,每一个模型单独使用一种load的方式的话导致了很多重复开发,效率不高的同时也对项目的可扩展性造成了巨大的破坏。于是需要一种能够统一TensorFlow和kera...原创 2020-09-27 15:53:30 · 391 阅读 · 0 评论 -
解决模型过拟合,增强鲁棒性和泛化能力
一、对于数据集的参考操作:数据增强二、在模型层面的参考方法: dropout(深度学习)三、选择合适的损失函数:(1)L1正则化(特征稀疏,或者降维度)(2)L2正则化(特征均衡减少,增强泛化)(3)做标签平滑操作在论文When Does Label Smoothing Help?中,作者说明标签平滑可以提高神经网络的鲁棒性和泛化能力。四、L1和L2正则化的作用:(1)L1正则化可以产生稀疏权值矩阵,即产生一个稀疏模型,可以用于特征选择,一定程度上,L1也可以防止过拟合(原创 2020-09-14 21:14:59 · 3671 阅读 · 0 评论 -
【转载】 深度学习中的鲁棒性与稳健性(稳定性)
转载原文地址:https://baijiahao.baidu.com/s?id=1654782903971643114&wfr=spider&for=pc原文标题: 深度学习的鲁棒性问题探讨1、 鲁棒性问题以深度学习为代表的机器学习方法已经在计算机视觉、语音识别、医学影像分析、电子竞技等领域得到了成功的应用,其发展引发了学术界、工业界甚至政界的广泛关注。然而,现有深度学习方法的有效性依赖于对训练数据集的高质量要求,当训练集呈现蕴含显著复杂噪声、异常点入侵、类别不均衡等问...原创 2020-09-14 20:44:08 · 15532 阅读 · 5 评论