监督学习--统计三要素

根据《统计学习方法》中的描述，统计学习方法都是由模型、策略和算法构成的，即“方法=模型+策略+算法”。当然非监督学习、强化学习也同样拥有这三要素，但是目前只总结监督学习。

模型、策略和算法

模型

在监督学习中，模型就是所要学习的决策函数或条件概率分布。模型的假设空间中包含所有可能的决策函数或者条件概率分布，例如假设决策函数是输入变量的线性函数，那么模型的假设空间就是所有这些线性函数构成的函数集合。假设空间中的模型一般有无数个。

决策函数的假设空间表示为

$$\mathcal{F}=\{f|Y=f_{\theta}(X),\theta\in R^n\}$$

其中$X,Y$分别是输入和输出，决策函数的假设空间通常是由一个参数向量决定的函数族。

同样假设空间也可以定义为条件概率的集合

$$\mathcal{F}=\{P|P_{\theta}(Y|X),\theta\in R^n\}$$

监督学习的主要目的是确定假设空间中的决策函数$f$或条件概率$P$以及它们所依赖的参数$\theta$。假如线性回归中，决策函数是数据集中特征的线性函数，那么决策函数的假设空间为$\mathcal{F}=\{f|Y=X\theta,\theta\in R^n\}$。确定了参数$\theta$，回归问题的模型就确定了。又如在logistics回归中，概率分布的假设空间为$\mathcal{F}=\{P|P(Y|X)=\frac{1}{1+exp(-X\theta)}\}$。在确定了参数$\theta$之后，logistics回归的模型就确定了。

策略

有了模型的假设空间，监督学习的问题就变成从假设空间中选取最优的模型$f$或$P$。对于给定的输入X，可以得到预测值$f(X)$，预测值和真实值Y可能一致也可能不一致，需要用一个损失函数或代价函数来度量不一致的程度。损失函数是$f(X)$和Y的非负实值函数，用来度量模型一次预测的好坏，记作$L(Y,f(X))$。

损失函数越小，表示模型越好。由于模型的输入输出$(X,Y)$是随机变量，遵循联合分布，所以损失函数的期望是

$$R_{exp}(f)=E_p[L(Y,f(X))]=\int_{X\times Y}L(Y,f(X))P(X,Y)dxdy$$

这只是理论上风险函数或期望风险，我们学习的目标就是选择期望风险最小的模型。但是由于计算上式需要先知道联合分布$P(X,Y)$。实际上知道了联合分布，就可以直接求出条件分布$P(Y|X)$，也就不需要学习了。正是由于不知道联合分布才需要学习，这就成为了一个病态问题了。所以定义$f(X)$关于训练数据集的平均损失称为经验风险或者经验损失，如下：

$$R_{emp}=\frac{1}{n}\sum_{i=1}^nL(y_i,f(x_i))$$

其中$n$是样本个数。

期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。根据大数定律，当样本容量n趋于无穷，经验风险趋于期望风险。所以很自然的用经验风险估计期望风险。但是，现实中训练样本有限，所以用经验风险估计期望风险常常不理想，要对经验风险进行一定的矫正。这就关系到了监督学习的两个基本策略：经验风险最小化和结构风险最小化。

策略	最优化问题	说明	特例
经验风险最小化	经验风险最小的模型是最优的模型	$min_{f\in\mathcal{F}}\;\;\frac{1}{n}\sum_{i=1}^nL(y_i,f(x_i))$ 当样本足够大，能达到很好的学习效果，当样本容量很小时，经验风险会产生过拟合的现象。 结构风险最小化 在经验风险的基础上，为防止过拟合提出的策略，等价于正则化 $min_{f\in\mathcal{F}}\;\;\frac{1}{n}\sum_{i=1}^nL(y_i,f(x_i))+\lambda J(f)$ $J(f)$表示模型复杂度，称为正则化项。模型越复杂，$J(f)$越大。$\lambda\ge0$是系数，权衡经验风险和复杂度。 给定了假设空间和损失函数，监督学习就变成了经验风险或结构风险的最优化问题。 上文中有两个地方值得关注：1、常用的损失函数有哪些？2、结构风险最小化中的模型复杂度$J(f)$如何度量 常用的损失函数有： 平方损失函数 log损失函数 指数损失函数 Hinge损失函数 感知损失 其他损失函数 正则化常用的有l0范数，l1范数，l2范数，F范数和核范数。 平方损失函数（最小二乘） 平方损失函数的表达式为: $$L(Y,f(X))=||Y-f(X)||^2$$ 样本个数为n时，经验风险可以表示为 $$L(Y,f(X))=\frac{1}{n}\sum_{i=1}^n(y_i-f(x_i))^2$$ 这和最小二乘法的目标函数一致。在最小二乘中，$f(x_i)=w^Tx_i$表示线性模型。所以最小二乘点的模型为线性模型，损失函数为平方损失，是经验风险最优化问题。 log损失函数（logistics回归） 对数损失函数针对的模型是条件概率分布。log损失函数也称作对数损失函数会对数似然损失函数。表达式为： $$L(Y,P(Y|X))=-logP(Y|X)$$ logistics的模型假设为 $$P(y|x)=\begin{cases}h_\theta(x)=\frac{1}{1+exp(-\theta^Tx)}\; ,\;y=1\\ 1-h_\theta(x)=\frac{1}{1+exp(\theta^Tx)}\;,y=0 \end{cases}$$ 经验损失函数为 $$L(Y,P(Y|X))=-\sum_{i=1}^ny_ilog(h_{\theta}(x_i))+(1-y_i)log(1-h_{\theta}(x_i))$$ 和logistics回归由极大似然估计得到的损失函数一致。 另外损失函数也可以表示为 $$-log(P(y|x))=\begin{cases} -log(h_{\theta}(x))=log(1+exp(-\theta^Tx))\; ,y=1 \\-log(1-h_{\theta}(x))=log(1+exp(\theta^Tx))\; ,y=0\end{cases}$$ 以上假设的是二分类问题，且类别标签是0,1。如果类标签为-1,1，上式也可以表示为 $$-log(P(y|x))=log(1+exp(-y\theta^Tx))$$ 如果令模型假设为$f(X)$，则$log(1+exp(-Yf(X)))$也可以称为log损失函数。 综上，logistics回归的模型为$h_{\theta}(x)$，损失函数为log损失，是经验风险最小化问题。 如果模型是条件概率模型，log损失函数是$-logP(Y|X)$ 如果模型是非条件概率模型，即决策函数，log损失函数是$log(1+exp(-Yf(X)))$ 指数损失函数（adaboost） 指数损失函数的表达式为： $$L(Y,f(X))=exp(-Yf(X))$$ 在学习adaboost中提到过，Adaboost算法是模型为加法模型，目标损失函数是指数函数，学习算法为前向分步算法时的二分类学习方法。优化策略是经验风险最小化。具体推导见adaboost Hinge损失函数（SVM） Hinge损失函数的标准形式为 $$L(Y,f(X))=max\{0,1-Yf(X)\}$$ 也可以写作 $$L(Y,f(X))=[1-Yf(X)]_{+}$$ 其中$[z]_+=max\{0,z\}$ Hinge损失函数主要用于SVM。在学习SVM时，得到SVM的目标函数为 $$\min_{w,b} \sum_{i=1}^n [1-y_i(w^Tx_i+b)]_++\lambda||w||^2$$ 上式的前部分就是hinge损失函数的形式，其中$f(x)=w^Tx+b$表示线性模型，后面部分是正则化项。所以SVM的模型是线性模型，损失函数是hinge函数，优化策略是结构风险最小化。 感知损失（感知机） 感知损失是hinge损失的弱化形式，表达式为 $$L(Y,f(x))=max(0,-Yf(X))$$ 也可以写作 $$L(Y,f(X))=[-Yf(X)]_{+}$$ 感知损失主要用于感知机。感知机只记录分类错误的样本。假设所有错误分类的点的集合为M，则损失函数为 $$L(Y,f(X))=-\sum_{x_i\in{M}}y_iw^Tx_i$$ 其中模型$f(x)=w^Tx$ 下面正面两者等价。将感知机的模型函数带入感知损失得到 $$L(y,f(x))=max(0,-yw^Tx)$$ 分类标签为-1,1，上式可以写作： $$L(y,f(x))=\begin{cases} -yw^Tx\;\;错分 \\0\;\;正确分类\end{cases}$$ 且$L(y,f(x))\ge 0$ 所以经验风险为 $$\sum_{i=1}^nL(y_i,f(x_i))=L(Y,f(X))=-\sum_{x^{(i)}\in{M}}y_iw^Tx_i$$ 所以感知机的模型为线性模型，损失函数为感知损失，优化策略是经验风险最小化。 0-1损失函数 0-1损失：$L(Y,f(X))=\begin{cases} 1,y=f(X) \\ 0,y\neq f(X)\end{cases}$。0-1损失是一个非凸的函数，在求解的过程中，存在很多的不足，通常在实际的使用中将0-1损失函数作为一个标准，选择0-1损失函数的代理函数作为损失函数。 损失函数总结 假设前面的损失函数的模型都是线性模型$f(x)=w^Tx$，则各损失函数的图像如下： 平方损失函数是一条抛物线，用于回归 0-1损失函数是最本质的损失函数，当分类正确时损失为0，分类错误是损失为1 log损失函数可以作为0-1损失的近似 Hinge损失当$yf(x)>1$时为0，对应分类正确，和感知机相比，不仅要求样本在超平面正确的一侧，而且要求有一定的距离。当$yf(x)<1$时，损失和$yf(x)$成正比 感知损失和hinge损失平行，当$yf(x)>0$即认为分类正确，损失为0 指数损失相比其他损失惩罚力度更大 hinge损失，log损失，指数损失和感知损失的左侧都是凸函数，方便求导，而且都是0-1损失的上界，可以通过减小损失函数实现分类(0-1)问题的求解。 正则化 正则化是在结构风险最小化中出现的，是为了防止模型过拟合对模型所做的约束，表征的是模型的复杂度。只有模型的优化策略是结构风险最小化时才会有正则化项的出现，也就是优化以下目标函数： $$\min\;\;\sum_{i=1}^nL(y_i,f(x_i))+\lambda J(f)$$ 前面一项是经验风险最小化，越小，函数拟合数据越好，经验误差越小。但是经验误差小可能会造成过拟合(方差大)，泛化能力差。后面一项是表示的是模型的复杂度，$J(f)$越小，模型越简单，也不可能过拟合。所以两者的结合，用正则化参数$\lambda$调整两者之间的关系，使得模型的经验误差小，而且泛化能力好。 正则化项$J(f)$有很多种选择，一般是模型复杂度的单调递增函数，模型越复杂，值就越大。比如，正则化项可以是模型参数向量的范数。然而，不同的选择对参数的约束不同，取得的效果也不同，但我们在论文中常见的都聚集在：0范数、1范数、2范数、迹范数、Frobenius范数和核范数等等。 下面以向量$w=[w_1,w_2,...,w_m]$为例，看一下各个范数有什么异同 0范数：$||w||_0$，表示向量w中非零元素的个数 1范数：$||w||_1=\sum_{i=1}^m|w_i|$，表示各个分量的绝对值之和 2范数：$||w||_2=\sqrt{\sum_{i=1}^mw_i^2}$，表示各个分量的平方和在开方 首先有一个问题，为什么正则化项能够防止过拟合呢？ 根据知乎上的一个回答https://www.zhihu.com/question/20700829/answer/21066719 首先解释了什么是过拟合。过拟合是一种现象，当模型在训练数据集上表现很好时，在测试数据集上反而表现很差。过拟合发生的本质原因是训练数据远远少于模型假设空间中的函数的个数，而函数的个数一般是由参数决定的，所以过拟合的本质是训练数据远远小于可选参数个数。过拟合的发生，可以分解成以下三点： 有限的训练数据不能完全反应一个模型的好坏，然而却不得不在这个数据集上挑选模型，由于经验风险的原因，完全有可能挑选到在训练集上表现很好却在测试集上表现很坏的模型，因为我们完全无法知道模型在测试数据集上的表现。 如果模型空间很大，也就是说有很多模型可供选择，那么挑选到最合适的那个模型的概率就很小 如果要是模型在训练集上表现很好，最为直接的方法就是要在足够大的模型空间中挑选模型，否则，如果模型空间很小，可能不存在最好的模型。 所以，要拟合好数据，就要有足够大的模型空间，有了足够大的模型空间，选到好的模型的概率就下降了。因此就会出现训练数据拟合的很好，泛化能力却很差的过拟合现象。 另外，前文的“模型复杂度”不是指的模型本身长的很复杂，比如5次多项式比2次多项式复杂。复杂指的是模型假设空间中可供选择的模型很多。 正则化是对参数的约束，而模型假设空间的函数正是由参数所决定，所以正则化可以控制模型空间的大小，这样，数据量和模型空间中函数的个数对等，就会防止过拟合的发生。 具体来讲，2范数是对参数加上高斯先验分布，1范数是加上laplace先验分布，0范数更是限制了参数非零的个数，这样就减小了模型假设空间中函数的个数，从而防止过拟合。 下面具体看看这三种范数的特点 L2范数 L2范数在回归中被称为Ridge回归，重要的作用还是防止过拟合。2范数是对模型参数加上高斯先验分布，通过对模型空间的控制，在一定程度上避免了过拟合。 L2范数有什么优点呢？ 防止过拟合，提高模型的泛化能力 L2范数是凸函数，且处处可导，在数值计算上有很大的优势 在线性回归中，如果特征维数大于样本个数，解不唯一，2范数可以在给定条件下使解唯一；另一方面，2范数可以解决condition number不好的情况下矩阵求逆很困难的问题 什么是cindition number呢？下面具体学习一下。 优化有两大难题，一是：局部最小值，二是：ill-condition病态问题。condition number不好就是指ill-condition。ill-condition对应的是well-condition。假设方程组AX=b，需要求解X。如果A或者b稍微的改变，会使得X的解发生很大的改变，那么这个方程组系统就是ill-condition的，反之就是well-condition的。具体例子如下： 左边的是ill-condition的情况，稍微改变b或者A，解的改变很大，这个系统的解对系数矩阵A或者b太敏感了。右边的是well-condition，稍微改变A或b，解的值变动的幅度和A或b改变的幅度一致。一般我们的系数矩阵A和b是从实验数据里面估计得到的，所以它是存在误差的，如果我们的系统对这个误差是可以容忍的就还好，但系统对这个误差太敏感了，以至于我们的解的误差更大，那这个解就太不靠谱了。所以这个方程组系统就是ill-conditioned病态的，不正常的，不稳定的， ill-condition的程度需要用condition number来衡量。矩阵A的condition number表示为：如果A非奇异 $$||A||*||A^{-1}||$$ 如果A奇异，condition number无穷大。也就是矩阵A的norm乘以它的逆的norm。具体的值是多少，就要看选择的norm是什么了。condition number衡量的是输入发生微小变化的时候，输出会发生多大的变化。也就是系统对微小变化的敏感度。condition number值小的就是well-conditioned的，大的就是ill-conditioned的。如果一个矩阵的condition number在1附近，那么它就是well-conditioned的，如果远大于1，那么它就是ill-conditioned的，如果一个系统是ill-conditioned的，它的输出结果就不要太相信了。 在最小二乘中有解析解 $$w=(X^TX)^{-1}X^TY$$ 如果$X^TX$的condition number很大的话，解不稳定，容易产生过拟合。如果加上2范数正则项的话，得到的解析解为 $$w=(X^TX+\lambda I)^{-1}X^TY$$ 加入正则项的作用就是减小$X^TX$的condition number，增加解的稳定性，从而避免过拟合 另一方面，如果使用迭代算法的话，condition number 太大仍然会导致问题：它会拖慢迭代的收敛速度，而正则项从优化的角度来看，实际上是将目标函数变成λ-strongly convex（λ强凸）的了。具体见http://blog.csdn.net/zouxy09/article/details/24971995/ 综上，2范数正则项不仅可以防止过拟合，而且可以使优化求解变得稳定和快速。 L1范数和L0范数 L0范数是指向量中非零元素的个数。如果用L0范数约束参数向量的话，就是稀疏的概念了。但是在稀疏表示中，经常看到的是L1范数。L1范数是指向量中各元素绝对值之和，也可以称作“稀疏化算子”，也就是说L0范数也可以实现稀疏。这里有两个问题，1、为什么要用L1代替L0范数；2、为什么L1范数可以实现稀疏。 L0范数虽然可以实现稀疏，但是是一个NP难问题，在求解问题时很困难。而且L1是L0的最优凸近似(?)，它们在一定的条件下等价。L1比较容易求解，而且可以实现稀疏。 为什么L1可以实现稀疏，可以从三个方面解释这个问题，优化，概率和图示。只要和L2范数比较，因为L2范数不能实现稀疏。 从优化角度 1 L2范数 L1范数 目标函数 $C=C_0+\lambda \sum_{i=1}^mw_i^2$ $C=C_0+\lambda \sum_{i=1}^m\|w_i\|$ 对第i个参数分量求导 $\frac{\partial C}{\partial w_i}=\frac{\partial C_0}{\partial w_i}+2\lambda w_i$ $\frac{\partial C}{\partial w_i}=\frac{\partial C_0}{\partial w_i}+\lambda sign(w_i)$ 左导数 $\frac{\partial C}{\partial w_i}\|_{0^+}=\frac{\partial C_0}{\partial w_i}\|_{0^+}$ $\frac{\partial C}{\partial w_i}\|_{0^+}=\frac{\partial C_0}{\partial w_i}\|_{0^+}+\lambda$ 右导数 $\frac{\partial C}{\partial w_i}\|_{0^-}=\frac{\partial C_0}{\partial w_i}\|_{0^-}$ $\frac{\partial C}{\partial w_i}\|_{0^+}=\frac{\partial C_0}{\partial w_i}\|_{0^+}-\lambda$ 说明 如果当$\frac{\partial C}{\partial w_i}=0$时，$w_i=0$，说明L2范数可以达到稀疏的目标。即$\frac{\partial C}{\partial w_i}$在0处的左右导数符号相反。从左右导数的表示式看，只有当$\frac{\partial C_0}{\partial w_i}\|_{w_i=0}=0$时，才能实现。 和L2范数一样，要使得$\frac{\partial C}{\partial w_i}$在0处的左右导数符号相反，只需要$\|\frac{\partial C_0}{\partial w_i}_{\|_{w_i=0}}\|<\lambda$即可。也就是说，L1范数叜很宽松的条件下就能使得系数稀疏。 从概率角度 我们知道，L2正则化是在目标函数中加入对参数的高斯先验分布，L1范数是加上了laplace先验分布，对参数加上了限制条件，一方面限制了模型空间的大小，同时限制了参数取值的概率。 先看一下高斯分布和laplace分布 1 高斯分布 laplace分布 概率密度函数 $f(x;\mu,\sigma)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(x-\mu)^2}{2\sigma^2})$ $f(x;\mu,b)=\frac{1}{2b}exp(-\frac{\|x-\mu\|}{b})$ 图像 和稀疏的关系 如果参数呈$N(0,\sigma)$分布，则参数在0附近的概率很大，L2正则化得到的参数大多接近于0 如果参数呈$Laplace(0,b)$，和L2正则化一样，参数在0附近的概率很大。但是和高斯分布相比，参数等于0的概率更大 参数和图形的关系 $\sigma$越小，图像越陡，参数取得0附近值的概率更大 $b$越小，图像越陡，参数取得0的概率越大 参数和正则化参数的关系 $\sigma$和正则化参数呈反比，$\sigma$越小，正则化约束越强，表示C越大 $b$和正则化参数呈反比，$b$越小，正则化约束越强，表示C越大 从图示角度 这里有一个很经典的图像 实际上，以线性回归为例，Ridge和Lasso可以写成下面的形式： Ridge： $$\min_w\;\;\frac{1}{2} \sum_{i=1}^n(y^{(i)}-w^Tx^{(i)})^2 \;\; s.t. ||w||_2\le C$$ Lasso： $$\min_w\;\;\frac{1}{2} \sum_{i=1}^n(y^{(i)}-w^Tx^{(i)})^2 \;\; s.t. ||w||_1\le C$$ 分别对应上图的右左两图。为了便于可视化，考虑2维的情况。在平面上可以画出目标函数的等高线，而约束则成为平面上半径为C的球。与等高线首次相交的地方就是最优解。可以看出，L1-ball和L2-ball的不同之处就在于，L1-ball在和坐标轴相交的地方都是凸出的。而目标函数除非在特殊位置，和L1-ball相交的地方总是在坐标轴上，由此便达到的稀疏的要求。而L2-ball边没有这样的性质，除非目标函数在特殊位置，和L2-ball相加的的方不在坐标轴上，便不能轻易达到稀疏。 以上从三个角度看待了L1和L2正则化，也说明了L1正则化可以产生稀疏解的原因。个人觉得第一个解释最具有说服力。 L1正则化可以产生稀疏的解，而且由于L1比L0更容易优化，所以常用L1代替L0。那么L1正则化有什么好处呢？ 和L2正则化一样，可以限制模型空间，故可以防止过拟合 可以进行特征选择(featrue selection).大家对稀疏规则化趋之若鹜的一个关键原因在于它能实现特征的自动选择。一般来说，样本的大部分特征都是和最终的输出没有关系或者不提供任何信息的，在最小化目标函数的时候考虑这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了正确的预测。稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0。 可解释性强。另一个青睐于稀疏的理由是，模型更容易解释。例如患某种病的概率是y，然后我们收集到的数据x是1000维的，也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。通过学习，如果最后学习到的参数就只有很少的非零元素，例如只有5个非零，那么我们就有理由相信，这些对应的特征在患病分析上面提供的信息是巨大的，决策性的。也就是说，患不患这种病只和这5个因素有关，那医生就好分析多了。但如果1000个参数都非0，医生面对这1000种因素，累觉不爱。 总结 到此，介绍了L0,L1,L2范数的定义，作用及优点。解决的问题如下： 正则化为什么能够防止过拟合？因为这些范数限制了参数的分布，从而限制了模型空间的大小，从而使得参数个数和模型空间中的模型个数对等，防止过拟合。 L0,L1,L2范数的定义 L2范数的优点。除了能防止过拟合之外，由于L2范数是处处可微的凸函数，在数值优化上有很大优势。另外在线性回归中，L2正则化对应的是Ridge回归，一方面在样本个数小于特征数，解无穷多个的时候能够给定限制条件，产生唯一解；另一方面，能够解决ill-condition的问题。 L1范数为什么能够代替L0范数？L1范数和L0范数都可以实现稀疏，L1范数在一定条件下和L0范数等价，并且L1因具有比L0更好的优化求解特性而被广泛应用。 L1范数的优点？能够产生稀疏解，由此可以进行特征选择。 L1范数为什么能产生稀疏解？从三个角度解释 L0,L1,L2的异同？ 相同点，都是正则化的一种表现形式，都能都防止过拟合。 L2不能产生稀疏解，但也有自己的优点(3)。L0和L1能够产生稀疏解，并且L1比L0更容易优化，有自己的优点(5). 算法 给定了假设空间和损失函数，监督学习的问题就转化为最优化的问题了，统计学习的算法就称为求解最优化问题的算法。如果有解析解，最优化问题比较简单，但是大多数问题没有解析解，就需要用数值计算的方法求解。如何保证找到全局最优解，并使得求解过程非常高效，就称为一个重要的问题。统计学习可以利用已有的算法，或者开发特殊的算法。 确定要放弃本次机会？ 福利倒计时 : : 立减 ¥ 普通VIP年卡可用 立即使用 liqiutuoyuan 关注 关注 1 点赞 踩 0 收藏 觉得还不错? 一键收藏 知道了 0 评论 监督学习--统计三要素 监督学习–统计三要素根据 复制链接 扫一扫 专栏目录 监督学习 (Supervised Learning) 禅与计算机程序设计艺术 05-17 351 1. 背景介绍 1.1 机器学习的崛起 近年来，随着计算能力的提升和大数据的爆发式增长，机器学习技术得到了飞速发展，并在各个领域展现出惊人的应用价值。从图像识别、语音助手到自动驾驶、精准医疗，机器学习正逐渐改变着我们的生活方式和社会形态。 1.2 监 统计学习方法-ppt.zip 07-21 - 统计学习理论的基本框架：包括学习问题的定义、监督学习、无监督学习、半监督学习和强化学习。 - 学习目标：分类、回归、密度估计、聚类等。 - 统计学习方法的三大要素：模型、策略和算法。 2. **第2章 感知机... 参与评论 您还未登录，请先 登录 后发表或查看评论 从《线性回归》学习模型三要素 ywj_1991的博客 05-07 915 本文介绍了机器学习的第一个入门模型-线性模型。以及用线性模型，引出了机器学习模型的基本要素 统计学习方法学习笔记（一）：监督学习三要素 caibaixiang的博客 05-10 518 监督学习三要素 监督学习主要包括模型，策略和算法三部分 模型 模型的定义 生成模型 【注】需要输入和输出变量均为随机变量 典型的生成模型：朴素贝叶斯、隐马尔科夫模型 判别模型 【注】不需要输入和输出变量均为随机变量 典型的生成模型：k近邻法、感知机、决策树 生成模型VS判别模型 机器学习的任务是从属性X预测标记Y，即求概率P(Y|X)。 对于判别式模型来说求得P(Y|X)，对未见示例X，根据P(Y|X)可以求得标记Y，即可以直接判别出来，如上图的左边所示，实际是就是直接得到了判别边界；而生成式模型求得 监督学习三要素，涵盖监督学习的全程前因后果 wulimmya的博客 06-05 2351 文章目录统计学习：==基于数据==构建==概率统计模型==，再用这些模型对新数据进行预测和分析总述统计学习方法的分类监督学习基本概念建模统计学习方法为什么很重要统计学习三要素：模型，策略，算法 统计学习：基于数据构建概率统计模型，再用这些模型对新数据进行预测和分析 总述 基于数据，所以是数据驱动的学科。对数据的分析可以让我们获取新知识，新发现。 学习的对象：数据，data。数据很多样，包括各种数字，文字，图像，视频和音频以及他们的组合 对于数据的假设，也是统计学习的前提：同类数据具有一定的统计规律性。这 监督学习三要素——模型、参数、目标函数 土豆洋芋山药蛋的博客 12-02 4343 1.模型选择机器学习的模型，根据不同的业务或使用场景选择合适的模型，下面是sklearn上的机器学习模型选择的一个地图。 2.参数模型的参数用来让数据更好的适应结果 例如有一个线性模型为：Hypothesis：hθ(x)=θ0+θ1xHypothesis：h_{\theta }(x)=\theta _{0}+\theta _{1}x，里面有θ0和θ1两个参数，参数的改变将会导致假设函数的变化 【机器学习范式】监督学习，无监督学习，强化学习， 半监督学习，自监督学习，迁移学习，对比分析+详解与示例代码 最新发布 qq_35831906的博客 11-11 1万+ 机器学习（Machine Learning，ML）有不同的范式，这些范式描述了学习算法如何从数据中提取模式和知识。本文介绍监督学习，无监督学习，强化学习， 半监督学习，自监督学习，迁移学习，对比分析+详解与示例代码 统计学习方法总结.docx 07-03 统计学习方法可以分为监督学习、非监督学习、半监督学习和强化学习四种类型。 1.1 监督学习 监督学习是指通过对已知标签数据的学习，建立模型，并将模型应用于未知标签数据的预测的过程。监督学习的目的是对模型的... 机器学习——统计方法概论思维导图 11-26 本资源摘要信息对机器学习和统计学习的基本概念、方法和技术进行了总结，涵盖了监督学习、模型选择、损失函数、学习算法等方面的内容，为读者提供了一个全面的机器学习和统计学习概论思维导图。 统计学习方法_李航 11-03 1.3统计学习三要素 1.3.1模型 1.3.2策略 1.3.3算法 1.4模型评估与模型选择 1.4.1训练误差与测试误差 1.4.2过拟合与模型选择 1.5i~则化与交叉验证 1.5.1正则化 1.5.2交叉验证 1.6泛化能力 1.6.1泛化误差 1.6.2泛化... 监督学习、半监督学习、无监督学习、自监督学习、强化学习和对比学习 云隐雾匿的博客 01-15 9371 监督学习、半监督学习、无监督学习、自监督学习、强化学习和对比学习 监督学习概述 热门推荐 慎铭的博客 08-29 1万+ 监督学习的特点是既有输入，也有结果。 我们输入的数据是（x，y）这种样本点的模式，x是我们输入的数据量，y是我们想要的结果。通过学习系统得到一个模型，得到一个y和x的函数关系，或者一个条件概率模型，即y在x的前提下发生的概率。 监督学习（Supervised Learning）算法构建了包括输入和所需输出的一组数据的数学模型。这些数据称为训练数据，由一组训练样本组合。 监督学习主要包括分类和回归。当输出被限制为有限的一组值（离散数值... 机器学习：监督学习、无监督学习、半监督学习、强化学习 十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎 07-31 1万+ 机器学习是一种人工智能领域的技术，它旨在让计算机通过学习数据和模式，而不是明确地进行编程来完成任务。机器学习分为监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）、半监督学习（Semi-supervised Learning）、强化学习（Reinforcement Learning）四种 终于有人把监督学习讲明白了 大数据 02-14 4745 导读：在机器学习的各种方法中，监督学习是迄今为止成果最令人印象深刻的一种。本文介绍监督学习解决像肺炎诊断这类问题的基本原理。作者：保罗·佩罗塔（Paolo Perrotta）来源：大数据D... 监督学习简单介绍 百年孤独百年的博客 04-26 2978 监督学习是机器学习的重要分支之一，它旨在从已知输入和输出样本中学习预测新的输入对应的输出。在监督学习中，整个过程可以理解为学生在老师的指导下学习，老师提供输入样本和已知的输出（标签），学生根据这些输入和输出来学习并进行预测。 人工智能之监督学习详解 记录 IT 领域经验与见解的博客 05-17 4141 在监督学习中，输入和输出变量都是已知的，同时，学习器的输出也必须与人工给定的真实结果一致。监督学习的核心是利用已知的输入和输出数据样本来学习一个模型，解决回归和分类问题。监督学习是机器学习领域中的一个重要分支，是指根据已知的输入和输出数据样本，学习出一个模型，对未知数据进行预测或分类，以求达到一个预期的目标。监督学习是一种有指导性的学习方法，被广泛应用在自然语言处理、计算机视觉、音频识别、推荐系统等领域，本文将对监督学习进行详细的解析。线性回归是一种基本的监督学习算法，适用于解决大部分的回归问题。 机器学习入门 Will_Pass的博客 03-11 516 文章目录 机器学习（2）——监督学习 Fo*(Bi)的博客 11-10 7422 为了更好地理解不同类型的机器学习方法，我们首先定义一些基本概念。如前所述，机器学习是建立在数据建模基础上的，因此，数据是进行机器学习的基础。我们可以把所有数据的集合称为数据集（dataset），如图7.2所示。 其中每条记录称为一个“样本”（sample），如图中每个不同颜色和大小的三角形和圆形均是一个样本。样本在某方面的表现或性质称为属性（attribute）或特征（feature），每个样本的特征通常对应特征空间中的一个坐标向量，称为一个特征向量（feature vector）。如图7.2数据集中，每 什么是监督学习（Supervised Learning） weixin_43970882的博客 02-29 3122 监督学习就是计算机从已经有标签的数据中进行训练，对新的无标签的数据进行预测或分类。 监督学习中的数据特征可能会有很多，在此仅举几个简单的例子： 1.假定广告费的投入量和产品的销售量呈线性关系，即广告费越多，产品销售量越多，那么监督学习就是从以往的广告费投入和产品销售量进行学习，从而可以由一个给定的广告费金额预测出产品销售量。（回归问题） 2.肿瘤预测，从以往的肿瘤大小和该肿瘤是否是良性的诊断中进行... 统计学习要素：数据挖掘、推断与预测 《The Elements of Statistical Learning》是统计学习领域的经典之作，它涵盖了广泛的统计学习方法，包括监督学习、无监督学习、回归分析、决策树、神经网络、支持向量机、集成方法（如随机森林和Boosting）等。... liqiutuoyuan CSDN认证博客专家 CSDN认证企业博客 码龄9年 暂无认证 22 原创 40万+ 周排名 114万+ 总排名 8万+ 访问 等级 689 积分 35 粉丝 40 获赞 0 评论 175 收藏 私信 关注 热门文章 k最近邻算法(kNN) 54767 集成学习 5633 二叉树的简单应用--表达式树 4860 监督学习--统计三要素 2277 支持向量机SVM 2155 分类专栏 数据结构与算法 20篇 机器学习 7篇 最新文章 Java集合框架 图的简单总结 logistics回归和softmax 2017年28篇 目录 目录 分类专栏 数据结构与算法 20篇 机器学习 7篇 目录 评论 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 添加红包 祝福语 请填写红包祝福语或标题 红包数量 个 红包个数最小为10个 红包总金额 元 红包金额最低5元 余额支付 当前余额3.43元 前往充值 > 需支付：10.00元 取消 确定 下一步 知道了 成就一亿技术人! 领取后你会自动成为博主和红包主的粉丝 规则 hope_wisdom 发出的红包 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。 余额充值