imJaron的博客

http://blog.csdn.net/Eric2016_Lv/article/details/52819926?locationNum=3&fps=1均方误差单独扽概念是很简单的，这里只做介绍，更深一步的内容会在后面列出来。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较方便的方法，MSE可以评价数据的

多时候，如果不对数据进行归一化，会导致梯度下降复杂或是xgboost中的损失函数只能选择线性，导致模型效果不佳。下面我结合各类我看到的资料总结一下几种方式的归一化，并有python的实现。从经验上说，归一化是让不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。如下有个形象的图解：如果不归一化，各维特征的跨度差距很大，目标函数就会是“扁”的：

条件概率分布最好和联合概率分布还有边缘概率分布一起说吧。举一个例子应该就都说清楚了：今天晚上天山童姥玩扔飞镖，飞镖偏离靶心的偏离其实是不确定的，所以适合用概率模型来描述，对吧。概率就是衡量可能性的指标。飞镖偏离靶心小于1厘米的概率，和风速，标靶距离都有关系。假定标靶距离可以是10到20米，风速可以是1米/秒到10米/秒，我们可以把每个距离下，每个风速情况下的偏离小于1厘米的概率，大

极大似然估计        以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策        首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：        其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率

先验概率和后验概率教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率 。那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率 。也就是P(堵车|交通事故)。这是有因求果。如果我们已经出了门，然后遇

当我们使用正则化的线性回归方法预测房价时，发现得到的模型应用于新的数据上时有很大误差，这时，我们可以选择一些解决方案，例如： 上图中的这六种解决方案都有相应的条件，如图中蓝色字体所示。【一、回归模型选择】我们引入一类数据集，叫做cross validation set，即交叉验证数据集。将所有数据按6：2：2 分为training set , cross validat

一、正则化背景监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。问题背景：参数太多，会导致我们的模型复杂度上升，容易过拟合。

比如我要对某个学校一个年级的上千个学生估计他们的平均水平（真实值，上帝才知道的数字），那么我决定抽样来计算。我抽出一个10个人的样本，可以计算出一个均值。那么如果我下次重新抽样，抽到的10个人可能就不一样了，那么这个从样本里面计算出来的均值可能就变了，对不对？因为这个均值是随着我抽样变化的，而我抽出哪10个人来计算这个数字是随机的，那么这个均值也是随机的。但是这个均值也会服从一个规律（一个

一、百度百科上方差是这样定义的： （variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。 看这么一段文字可能有些绕，那就先从公式入手， 对于一组随机变量或者统计数据，其期望值

Standardization即标准化，尽量将数据转化为均值为零，方差为一的数据，形如标准正态分布（高斯分布）。实际中我们会忽略数据的分布情况，仅仅是通过改变均值来集中数据，然后将非连续特征除以他们的标准差。sklearn中 scale函数提供了简单快速的singlearray-like数据集操作。一、标准化，均值去除和按方差比例缩放（Standardization, or mean re