![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
Arsener_gong
这个作者很懒,什么都没留下…
展开
-
AUC含义的通俗理解
AUC含义的通俗理解假设有一个分类器,并且该分类器可以得到将一个样本预测为正的概率,并将此概率称为这个样本的得分。首先说一下AUC的含义:随机给定一个正样本和一个负样本,用一个分类器进行分类和预测,该正样本的得分比该负样本的得分要大的概率。那么应该如何理解这个含义呢?首先我们要知道ROC曲线是怎么画出来的。而AUC即ROC曲线下面的面积。1. 混淆矩阵(图源:https://www.z...原创 2020-03-17 20:24:16 · 23803 阅读 · 0 评论 -
核岭回归 (Kernel Ridge Regression) 以及sklearn中sklearn.kernel_ridge.KernelRidge用法
本文核岭回归原理部分总结自《数据挖掘——使用机器学习工具与技术》(原书第四版)一书7.2.4节。核岭回归(Kernel Ridge Regression)线性回归对于普通的线性回归,我们在训练的时候是最小化平方误差损失函数:∑i=1n(yi−Wxi⃗)2\sum_{i=1}^n (y_i-W\vec {x_i})^2i=1∑n(yi−Wxi)2其中W为参数矩阵。接下来我们要依次为...原创 2019-03-12 21:13:59 · 12501 阅读 · 1 评论 -
线性回归与岭回归参数向量公式推导
线性回归是一种常用的机器学习回归算法,其原理是通过输入和输出学习回归函数,确定回归参数向量w\mathbf{w}w和截距bbb。对于新的样本x\mathbf{x}x,其预测值为y^=xw+b\hat{y}=\mathbf{x}\mathbf{w}+by^=xw+b。式中,x\mathbf{x}x是n−1n-1n−1维横向量,x=(x1,x2,...,xn−1)\mathbf{x}=(x_1,x_...原创 2019-05-20 19:39:48 · 1263 阅读 · 0 评论 -
sigmoid函数、tanh函数、softmax函数及求导
sigmoid函数和tanh函数都是激活函数,接收一个输入,产生一个输出。这里的求导是对激活函数求导。而softmax函数是一个多输入多输出的函数,这里提到的求导是对经过softmax函数后进行交叉熵计算得到的损失函数求导。sigmoid函数及求导sigmoid激活函数形式为:σ(x)=sigmoid(x)=11+e−x\sigma (x)=sigmoid(x)=\frac{1}{1+e^{...原创 2019-05-27 10:53:19 · 3895 阅读 · 0 评论 -
softmax函数及交叉熵函数求导
softmax函数这里以神经网络多分类问题为例,假设输出层有nnn个神经元,输出为z1,z2,...,znz_1,z_2,...,z_nz1,z2,...,zn,经过softmax函数后的输出为a1,a2,...,ana_1,a_2,...,a_na1,a2,...,an,aia_iai的计算公式为:ai=ezi∑j=1nezja_i=\frac{e^{z_i}}{\sum_{j...原创 2019-05-27 11:21:52 · 615 阅读 · 0 评论