irober的博客

读文献时，有时求相关系数，有时求拟合优度，到底都是什么呢？先给结论，R与R^2没有关系，就如同标准差与标准误差没有关系一样。1. 相关系数（R）定义：变量之间线性相关的度量。分三种，spearman, pearson, kendall公式：ρ=Cov(X,Y)σXσY\rho = \frac{Cov(X,Y)}{\sigma_X\sigma_Y}ρ=σX​σY​Cov(X,Y)​解释：自变量X和因变量Y的协方差/标准差的乘积。协方差：两个变量变化是同方向的还是异方向的。X高Y也高，协方差就是

回归模型的评价指标一、总体介绍1. 均方误差（Mean Squared Error，MSE）观测值与真值偏差的平方和与观测次数的比值：MSE=1m∑i=1m(fi−yi)2MSE = \frac{1}{m}\sum_{i=1}^{m}(f_i-y_i)^2MSE=m1​i=1∑m​(fi​−yi​)2这就是线性回归中最常用的损失函数，线性回归过程中尽量让该损失函数最小。那么模型之间的对比也可以用它来比较。MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

一、误差思维一个量在测量、计算或观察过程中由于某些错误或通常由于某些不可控制的因素的影响而造成的变化偏离标准值或规定值的数量 ，误差是不可避免的。只要有估计，就会有误差。二、置信区间和置信水平置信区间： 在统计学中，一个概率样本的置信区间（英语：Confidence interval，CI），是对产生这个样本的总体的参数分布（Parametric Distribution）中的某一个未知参数值，以区间形式给出的估计。换句话说，在某一置信水平下，样本统计值与总体参数值间误差范围。一般我们用中括号[a,b

选自http://thushv.com，作者：Thushan Ganegedara，机器之心编译。机器学习是当前最重要的技术发展方向之一。近日，悉尼大学博士生 Thushan Ganegedara 开始撰写一个系列博客文章，旨在为机器学习初学者介绍一些基本概念。本文是该系列的第一篇文章，介绍了 KL 散度（KL divergence）的基本数学概念和初级应用。作者已将相关代码发布在 GitHub 上。代码：https://github.com/thushv89/nlp_examples_thushv