机器学习
文章平均质量分 80
Rocky Ding*
全网同名Rocky Ding,AIGCmagic社区创始人,自媒体WeThinkIn主理人,AIGC算法专家,持续分享AI行业前沿资讯、干货经验以及深度思考,欢迎社招/校招/实习面试咨询。
展开
-
机器学习_JS散度详解
JS散度解析。原创 2019-12-10 15:30:51 · 9782 阅读 · 1 评论 -
机器学习_KL散度详解(全网最详细)
全网最详细的KL散度只是解析,你确定不看吗原创 2019-12-10 15:02:00 · 27447 阅读 · 2 评论 -
机器学习_L1loss、L2loss以及smooth L1loss
通常情况下,我们一般使用L2loss,因为L2loss的收敛速度要比L1loss快很多。L2loss的缺点是在训练过程中存在离群点时,这些点占据loss的主要部分,从而造成训练波动甚至失败。L1loss在0点处导数不唯一,可能影响模型训练时收敛。smooth L1loss在较大的范围里使用较为缓和的线性增长,来避免L2loss的问题,而在0点处使用平方函数来使其更加平滑,训练收敛更加稳定,更容易收敛到局部最优,而不会跳出局部最优。接下来我们看一下其各自的公式:...原创 2021-03-26 00:53:01 · 1241 阅读 · 1 评论 -
机器学习_集成学习(Ensemble)
一.集成学习(Ensemble)介绍集成学习也称为模型融合(Model Ensemble)、多分类器学习(multiple Classifier System)或基于委员会的学习(Committee-Based Learning)。是一种有效提升机器学习效果的方法。不同于传统的机器学习方法在训练集上构建一个模型,集成学习通过构建并融合多个模型来完成学习任务。首先我们通过下图的一个例子来介绍集...原创 2019-12-06 15:10:28 · 2749 阅读 · 0 评论 -
机器学习_L1为什么比L2更容易产生稀疏解
我们首先可以设目标函数为LLL,目标函数中的权值参数为www,那么目标函数和权值参数的关系如下所示:如上图所示,最优的www在绿色的点处,而且www非零。我们首先可以使用L2正则进行优化,新的目标函数:L+CW2L + CW^{2}L+CW2,示意图如下蓝线所示:我们可以看到,最优的www出现在黄点处,www的绝对值减小了,更靠近横坐标轴,但是依然是非零的。为什么是非零的呢?我们可以对L2正则下的目标函数求导:我们发现,权重www每次乘上的是小于1的倍数进行收敛,而且其导数在w=0w=0w原创 2020-08-17 11:57:44 · 876 阅读 · 0 评论 -
机器学习_评价指标Accuracy(准确率)、Precision(精准度/查准率)、Recall(召回率/查全率)、F1 Scores详解
首先我们先上一个整体的公式:混淆矩阵真实情况 T或F预测为正1,P预测为负0,N本来的label为1,则预测结果正的话为T,负的话为FTP(正样本预测为正)FN(正样本预测为假)–––本来label为0,则预测结果正的话为T,负的话为FFP(负样本预测为正)TN(负样本预测为负)混淆矩阵可以清楚的看出错判的样本,以便后续训练重视。混淆矩阵中的相关名词也是我们后面要将的几个评价指标的重要变量。Error Rate(错误率)和Accuracy(准确率原创 2020-07-20 18:22:07 · 1505 阅读 · 0 评论 -
机器学习_K折交叉验证知识详解(深刻理解版)(全网最详细)
K折交叉验证方法全网最详细解析。原创 2020-07-12 11:44:06 · 28257 阅读 · 15 评论 -
机器学习_神经网络训练时梯度爆炸和梯度消失产生的原因及解决方法
一般在深层神经网络中,我们需要预防梯度爆炸和梯度消失的情况。梯度消失(gradient vanishing problem)和梯度爆炸(gradient exploding problem)一般随着网络层数的增加会变得越来越明显。例如下面所示的含有三个隐藏层的神经网络,梯度消失问题发生时,接近输出层的hiden layer3的权重更新比较正常,但是前面的hidden layer1的权重更新会变得很慢,导致前面的权重几乎不变,仍然接近初始化的权重,这相当于hidden layer1没有学到任何东西,此时深原创 2020-07-11 10:29:51 · 2663 阅读 · 0 评论 -
机器学习_常见正则化方法
数据增强L1和L2正则化dropout权值裁剪early stop原创 2020-04-13 12:15:07 · 334 阅读 · 0 评论 -
机器学习_L1和L2正则化
L1范数:向量中各个元素绝对值的和。L2范数:向量中各个元素平方和再求平方根。L1范数能够达到使参数稀疏的目的。L2范数不但可以防止过拟合,提高模型的泛化能力,还可以让我们的优化求解变得稳定和快速。L2对大数和outlier更敏感。...原创 2020-04-09 16:55:23 · 167 阅读 · 0 评论 -
机器学习_经典模型_SVM常见问题总结
1.SVM的应用场景SVM既可以用于线性分类也可以用于非线性分类,这主要取决于和函数的选取。在已知样本很少的情况下,获得很好的分类效果。2.SVM的原理简单概括:SVM是一种优化的分类算法,它可以寻找到一个最佳的决策边界(决策超平面),使得决策边界与各组数据之间存在margin,并且需要使各侧的margin最大化。3.支持向量支持向量(support vector)是SVM中起到支持作用...原创 2020-04-09 16:24:54 · 529 阅读 · 0 评论 -
机器学习_经典模型_逻辑回归(logistic regression)
逻辑回归是用在分类问题中的典型算法。首先我们来考虑简单的二分类问题,如下图所示:原创 2020-03-30 15:00:59 · 444 阅读 · 0 评论 -
机器学习_奇异值分解(SVD)详解
一.采样和维度维度是数据的一个非常重要的性质。二维或者低维的性质可以推广到高维,然而并不是所有低维的性质和现象都可以推广到高维情况,在高维世界里,有许多低维空间中顺理成章的事情不再成立,,并且由于很难形象理解,这些高维度中的变化往往是让人感到非常头疼的。这些高维空间中的困难就被称为维度的诅咒(Curse of Dimensionality)。对于一个长度为1的线段,均匀采样10个点。到了二维...转载 2020-03-24 18:39:39 · 709 阅读 · 0 评论 -
机器学习_经典模型_SVM(支持向量机)
SVM简介SVM(Support Vector Machine)即支持向量机,它是一类算法,可以用来做分类器(Classifier),也可以用来做回归(Regression)。SVM一直被认为是效果最好的现成可用的的分类算法之一。学术界里有很多超前沿的模型或者很复杂的算法,在工业界中遇到实际问题使用的效果并不好,不鲁棒,可能只是有趣的“玩具”。而SVM不仅在工业界有广泛的应用,在学术界也有持续...转载 2020-02-27 20:32:50 · 1260 阅读 · 0 评论 -
机器学习_经验风险和结构风险
在假设空间、损失函数以及训练集确定的情况下,经验风险函数就可以确定。假设给定一个数据集:模型f(x)关于训练数据集的平均损失成为经验风险或者经验损失:经验风险最小化(empirical risk minimization,ERM)的策略认为,经验风险最小的模型是最优的模型。按照经验风险最小化求最优模型就是求解最优化问题:当样本容量足够大时,经验风险最小化能保证很好的学习效果,在现实中...原创 2020-02-11 20:33:50 · 1854 阅读 · 0 评论 -
机器学习_权重初始化
权重初始化一.全都初始化为0或同样的值权重初始化陷阱: 都初始化为一样的值或0。产生陷阱原因:因为并不知道在训练神经网络中每一个权重最后的值,但是如果进行了恰当的数据归一化后,我们可以有理由认为有一半的权重是正的,另一半是负的。令所有权重都初始化为相同值或者0,如果神经网络计算出来的输出值是一样的,神经网络在进行反向传播算法计算出来的梯度值也一样,并且参数更新值也一样。更一般地说,如果权重...原创 2020-02-10 22:35:20 · 597 阅读 · 0 评论 -
机器学习_AdaBoost
AdaBoost是基于boosting的思想,通过多个弱分类器的线性组合来得到强分类器,训练时重点关注被错分的样本,准确率高的弱分类器权重大。在训练过程中,它不改变所给的训练数据,而是不断改变训练数据权值的分布,使得被误分的数据再后一轮的分类中受到更大的关注。同时采用加权多数表决的方法,加大分类误差率小的弱分类器的权值,使其在最后的表决中起更大的作用,减小分类误差率大的弱分类器的权值,使其在最...原创 2020-01-17 14:44:22 · 244 阅读 · 0 评论 -
机器学习_监督学习、非监督学习、半监督学习以及强化学习概念介绍
机器学习中通常根据数据是否有标签可以分为监督学习(supervised learning)、非监督学习(unsupervised learning) 和半监督学习(semi-supervised learning)。如果需要算法与环境交互获得数据则是强化学习(reinforcement learning)。一.监督学习监督学习的意思就是用来训练网络的数据,我们已经知道其对应的输出,这个输出可以...原创 2019-12-29 20:00:28 · 2153 阅读 · 0 评论 -
机器学习_欠拟合和过拟合相关知识、问题及解决方法
如何解决过拟合:重新清洗数据,数据不纯会导致过拟合,此类情况需要重新清洗数据。增加训练样本数量。降低模型复杂程度。增大正则项系数。采用dropout方法,dropout方法就是在训练的时候让神经元以一定的概率失活。提前截断(early stopping)。减少迭代次数。增大学习率。添加噪声数据。树结构中,可以对树进行剪枝。减少特征项。...原创 2019-12-13 01:08:31 · 1799 阅读 · 0 评论