![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学知识
Terry_dong
我只是个搬运工
展开
-
协方差的意义
协方差代表了两个变量之间的是否同时偏离均值。 如果正相关,这个计算公式,每个样本对(Xi, Yi), 每个求和项大部分都是正数,即两个同方向偏离各自均值,而不同时偏离的也有,但是少,这样当样本多时,总和结果为正。下面这个图就很直观。下面转载自:http://blog.csdn.net/wuhzossibility/article/details/8087863在概率论中,两个随机变量 X 与 Y ...原创 2018-03-22 17:52:32 · 286 阅读 · 0 评论 -
极大似然估计
极大似然估计 以前多次接触过极大似然估计,但一直都不太明白到底什么原理,最近在看贝叶斯分类,对极大似然估计有了新的认识,总结如下: 贝叶斯决策 首先来看贝叶斯分类,我们都知道经典的贝叶斯公式: 其中:p(w):为先验概率,表示每种类别分布的概率;:类条件概率,表示在某种类别前提下,某事发生的概率;而为后验概率,表示某事发生了,...原创 2018-07-19 14:19:35 · 558 阅读 · 0 评论 -
放射变换
找了一会儿讲仿射变换的博客,发现这个讲的挺好,看图可自己推导公式。仿射变换是二维平面中一种重要的变换,在图像图形领域有广泛的应用。许多人对“仿射”没有一个感官的认识,我觉得很有必要先来说一下“仿射”。所谓的“仿射变换”就是一种简单的变换,它的变化包括旋转、平移、伸缩,原来的直线仿射变换后还是直线,原来的平行线经过仿射变换之后还是平行线,这就是仿射。仿射变换的矩阵是其次坐标形式的变换矩阵这个矩阵包含...原创 2018-05-07 17:52:54 · 1215 阅读 · 0 评论 -
关于线性回归和逻辑回归一些深入的思考
在学习完 Andrew Ng 教授的机器学习课程,和多方查阅大神的博客,本以为很简单的逻辑回归,在深思其细节的时候,很多容易让人不理解,甚至是疑惑的地方,这几天一直冥想其中的缘由。1、 为什么是逻辑回归? 都说线性回归用来做回归预测,逻辑回归用于做二分类,一个是解决回归问题,一个用于解决分类问题。但很多人问起逻辑回归和线性回归的区别,很多人会大喊一声(也可能是三声):逻辑回归就是对线性回归做了...转载 2018-05-11 17:18:10 · 222 阅读 · 0 评论 -
时间序列分析笔记(待整理)
时间序列有三种基本模式:平稳性 / 随机性(Stationarity):当数据没有明显的模式特征的话,我们认为它是平稳的,Y值在一个范围内随着时间上下浮动。趋势性(Trend):当Y值在一段时间内随着时间有明显的向上或者向下的趋势的时候,我们认为有趋势性。季节性(Seasonarity):当Y值在某个固定的时间内,有明显的波动,我们认为存在季节性。举个例子,降雨量大的时间通常在春夏两季,而在秋冬两...原创 2018-04-25 17:29:19 · 14701 阅读 · 1 评论 -
均方误差(MSE)和均方根误差(RMSE)和平均绝对误差(MAE)
RMSERoot Mean Square Error,均方根误差是观测值与真值偏差的平方和与观测次数m比值的平方根。是用来衡量观测值同真值之间的偏差MAEMean Absolute Error ,平均绝对误差是绝对误差的平均值能更好地反映预测值误差的实际情况.标准差Standard Deviation ,标准差是方差的算数平方根是用来衡量一组数自身的离散程度...原创 2018-05-02 22:58:12 · 71751 阅读 · 3 评论 -
最小二乘法(二)
由于最近公司需要,所以赶紧转载一篇一. 简介 首先来看百度百科对最小二乘法的介绍:最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 简而言之,最小二乘法同梯度...转载 2018-04-24 22:12:36 · 2242 阅读 · 0 评论 -
最小二乘法 (一)
啥都不说直接上一张,图片,这是书本上描述的东西。 正相关或者负相关。虽然这些数据是离散的,不是连续的,我们无法得到一个确定的描述这种相关性的函数方程,但既然在直角坐标系中数据分布接近一条直线,那么我们就可以通过画直线的方式得到一个近似的描述这种关系的直线方程。当然,从前面的描述中不难看出,所有数据都分布在一条直线附近,因此这样的直线可以画出很多条,而我们希望找出其中的一条,能够最好地反映...原创 2018-04-24 22:10:21 · 869 阅读 · 0 评论 -
常见向量范数和矩阵范数
1、向量范数1-范数:,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。∞-范数:,即所有向量元素绝对值中的最大值,matlab调用函数norm(x, inf)。-∞-范数:,即所有向量元素绝对值中的最小值,matlab调用函数norm(x, ...原创 2018-04-17 21:01:57 · 6054 阅读 · 0 评论 -
大数定律(law of large numbers)
大数定律(law of large numbers),又称大数定理,是一种描述当试验次数很大时所呈现的概率性质的定律。事实上,这个定律在日常生活中的应用很广泛,也很实用。比如,一大早去乘公交车,从时间上面考虑,你是不知道有木有空的座位是留给自己的。但是,从“大数定律”的科学角度而言,习惯性的出行和乘车,总有一个座位是留给自己的。同样的,好比晚上去水房洗漱,你总会找得到一个水龙头去洗漱。一样的道理,...原创 2018-03-23 12:07:22 · 11144 阅读 · 0 评论 -
KL距离
KL距离(相对熵)KL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy)。它衡量的是相同事件空间里的两个概率分布的差异情况。其物理意义是:在相同事件空间里,概率分布P(x)对应的每个事件,若用概率分布 Q(x)编码时,平均每个基本事件(符号)编码长度增加了多少比特。我们用D(P||Q)表示K...原创 2018-03-23 00:04:35 · 1012 阅读 · 0 评论 -
信息熵
让我们说人话!好的数学概念都应该是通俗易懂的。信息熵,信息熵,怎么看怎么觉得这个“熵”字不顺眼,那就先不看。我们起码知道这个概念跟信息有关系。而它又是个数学模型里面的概念,一般而言是可以量化的。所以,第一个问题来了:信息是不是可以量化?起码直觉上而言是可以的,不然怎么可能我们觉得有些人说的废话特别多,“没什么信息量”,有些人一语中的,一句话就传达了很大的信息量。为什么有的信息量大有的信息量小?有些...原创 2018-03-23 00:01:56 · 639 阅读 · 0 评论 -
协方差、相关系数(Pearson 相关系数)
一、相关系数第一次理解概念:Pearson相关系数 (Pearson CorrelationCoefficient)是用来衡量两个数据集合是否在一条线上面,它用来衡量定距变量间的线性关系。[1]注:【定距变量】[2][3]若想理解定距变量,需要与其他变量类型进行比对。统计学依据数据的计量尺度将数据划分为四大类 ,即定距型数据、定序型数据、定类型数据和定比型数据。 ...原创 2019-07-27 19:12:56 · 10053 阅读 · 0 评论