ML
enthwxq
这个作者很懒,什么都没留下…
展开
-
1.3.随机变量,随机向量的自相关与自协方差
一、变量与随机变量什么是变量?变量是指没有固定的值,可以改变的数。我们记成等等,与之相应的就是常量,等。什么是随机变量?这里并不讨论随机变量的标准数学定义,给一个直观的理解就是:当一个变量有某一个概率取特定的值时,即,它就是随机变量。可以很清晰的感受到,随机变量与普通的变量区别就是它多了一个特点,这个特点就是它取某一个确定的值是有确定概率的。并且随机变量的所有取值对应的概率之和(离散)或是...原创 2018-11-20 19:06:10 · 14587 阅读 · 2 评论 -
1.24 异常检测
1.动机令要检测的异常类(正类)标记为,正常类(负类)标记为。异常检测的问题就是对进行估计。在都是负类训练集上估计出,学习出正类应该具有的特征,然后在正负类都存在的交叉验证集上确定一个,当新样本来到时,根据的关系,从而判断出,是否为正类。为什么不能使用监督学习的机制?原因主要有两点:(1)正、负类的标记很不均匀,对于监督学习,需要足够多的正、负类样本同时存在,算法才能找到数据后面的...原创 2019-01-15 20:26:24 · 242 阅读 · 0 评论 -
1.18 机器学习的相关建议/大数据下的处理办法
1.只评价一个模型:对于评价一个(自己或者他人的)模型,只需要选择不同的指标在test set上去评估。最常见的就是:test error.2.自己训练一个模型并评价:(1)对于不同的模型或者没有使用正则化的模型来说:将所有集合划分成三部分:Training set,Cross validation set,Test set。用途如下:Training set(60%) ...原创 2019-01-14 19:09:18 · 305 阅读 · 0 评论 -
1.10 科研相关总结
在给老师汇报看的第一篇论文时,汇报了自己从细节开始看起,推导一步步的梳理。但是老师让我并不这么做,原因就不细说了,加在自己以下的总结中。如下:我是第一次搞科研,在看文章的时候,注重文章的大体结构:abstract, introduction, preliminary knowledge, the model the author proposed and how he ...原创 2019-02-03 19:12:41 · 411 阅读 · 2 评论 -
1.13矩阵微分与求导相关
0.相关记法与规定:本篇博客所涉及到数都是在实数域,不涉及复数。本博客中出现的所有向量不加说明时都默认列向量。是标量,是列向量,是矩阵。是标量函数,这里“标量”是指是一个实数,即是标量函数,这里“标量”是指是一个实数,即是向量函数,这里“向量“是指是一个向量,即是向量函数,这里“向量“是指是一个向量,即是矩阵函数,这里“矩阵“是指是一个矩阵,即是矩阵函数,这里“矩阵...原创 2019-01-06 22:33:52 · 2728 阅读 · 1 评论 -
1.12 Regression-Logistic Regression and Softmax regression
1. Logistic Regression概率解释:解决的是二分类问题(类标记)在线性回归的基础上,引入一个logistic function(sigmoid function),使得输出(以下简称)为正类的概率。对于这个函数,一个很好的性质是:。令 即,由此得到y的概率分布函数。记似然函数为:对数似然函数为:求导,得到梯度:。标量形式太冗长,记成向量形式,如下:同...原创 2018-12-24 17:18:03 · 222 阅读 · 0 评论 -
1.11 Regression-linear regression
0.目录:序号 优化/矩阵方程角度 ,, 概率学解释 1 普通最小二乘:向量存在加性误差,即,问题转化为: 的每一个分量,即: 2 数据最小二乘:b向量无观测误差,A存在加性误差 暂时未总结 3 Tikhonov正则化: 贝叶斯的角度下,引入先验知识 1.普通最小二乘与极大似然解释记,m为训练样本个数,n为特征...原创 2018-12-23 14:43:28 · 131 阅读 · 0 评论 -
1.15 Generative Learning Algorithm:GDA and Mixture of Gaussians/GMM
1. 生成学习算法(Generative Learning Algorithm)与判别学习算法(Discriminative Learning Algorithm):之前涉及到的回归类模型就是DLA的一类,是直接对建模的。更详细一点的说,没有使用正则化的模型是对建模,是一个参数。而使用了正则化的模型则是对建模。而GLA则是对建模,以分类问题为例,生成学习通过对不同类的特征建模,得到,...原创 2018-12-28 15:29:54 · 177 阅读 · 0 评论 -
1.6 概率与数理统计基础
1.大数定律与中心极限定理:(0)随机变量序列是n个不同的随机变量序列,每一个随机变量都有自己的分布,它们可能相同,也可能不同。(1)依概率收敛:数学的标准定义是:设是随机变量序列,是一个随机变量,如果对于任意给定的正数,有或者,则称随机变量序列以概率收敛于X。在定义中,其实默认了每一个随机变量都是独立同分布的,它们可以认为是对于总体的n次观测值,X就是理想中的真值。当我们观测足够多时...原创 2018-12-21 18:49:05 · 286 阅读 · 0 评论 -
1.16 The EM algorithm(Expectation-Maximization)
1.Jensen's inequalityIf is convex function and is a random variable, then .If is continuous and derivable,then (In the case of taking vector-valued inputs,the Hessian matrix is positive sem...原创 2018-12-26 21:26:56 · 240 阅读 · 0 评论 -
1.7 稀疏表示
1.稀疏向量与稀疏表示:一个含有大多数零元素的向量/矩阵叫做稀疏向量/稀疏矩阵。在传统的思路下,信号向量最多可以分解为m个正交基向量,这些正交基的集合称为完备正交基,分解的表示如下:,G是列向量的集合,c是在此基下的坐标。一定是非稀疏的。若将信号向量分解为n个m维的向量的线性组合,则n(>m)个向量不可能是正交基的集合。为了和基区别,这些列向量所形成的集合被称为:字典(codeb...原创 2018-12-02 09:24:57 · 825 阅读 · 0 评论 -
1.3补充 协方差矩阵计算
本文是对1.3中自相关和自协方差矩阵的补充。是一个m维随机向量,其中每一个分量都是一个随机变量。由1.3中自相关矩阵的定义,有:,。以三维的详细来看:,,,构造了6个随机变量。最后再取这六个随机变量的均值,就得到了自相关矩阵。如果随机变量已经归一化处理后后,那么自相关就变成了协方差。自相关矩阵和协方差矩阵有两种方式计算:(1)当给出的是每一个随机变量的分布律时,比如x1的取值有两种(0...原创 2018-11-27 13:42:51 · 933 阅读 · 0 评论 -
1.5 PCA/SVD/MCA
1.PCA引入和推导:引例:有5个二维空间的点(以列向量形式给出):,如图:,可以很清晰地发现:它们可以由一个斜向量近似表示出来,这个斜向量就是,因为原先的5个2维向量中,第一个维度和第二个维度有着比例关系,所以可以进行降维处理,方法就是投影到这个斜向量上,以这个斜向量重新作为一个基,也能恢复保存原先的结构不发生大的变换。如果作为基的向量是一组标准基,那么投影之前的向量投影到这组新基后的坐标就...原创 2018-11-26 22:18:30 · 856 阅读 · 0 评论 -
1.8 谱聚类
1.绪论在此篇文章中,对于谱聚类的解释基于图论,并不涉及Random walks(在参考的文章中(1)中有详细解释)在叙述理论推导的同时,还需要给出简单的例子进行计算以加深理解。给定一个带权无向图,是结点集合,是边的集合。在谱聚类中,所有的样本构成了结点集合V,结点之间的相似度就是对应边的权重。聚类的目标就是将这些结点分成不同类,类与类之间有着较小的相似度,而类中的结点有着较大的相似度...原创 2018-12-02 09:26:26 · 379 阅读 · 0 评论 -
1.4 优化方法
一、优化问题的数学形式:。根据问题的形式给出不同的分类。二、分类:(自己的分类,仅供参考)1.无约束优化:没有不等式约束和等式约束。无约束优化问题的解法:(0)撒点法(网格搜索法,随机模拟,智能算法(遗传算法等))。自己选择叫这个名字,就是好记而已,网格相当于均匀撒点,随机模拟是利用随机性,而智能算法在撒完点后,进行特定的选择。(1)直接法(免导数,直接算f(x)的相关性质...原创 2018-11-25 16:29:24 · 318 阅读 · 0 评论 -
1.1 范数,内积
一、内积在向量空间上定义一种运算,内积,就成了内积空间。定义在n维实向量空间的标准内积为:,是一个从的映射,满足三条性质(共轭对称,第一变元线性性,非负性)。两个向量的内积可以度量它们的夹角:,注意到,此处并没有定义范数。以上是向量的内积。对于矩阵来说,做以推广,定义在mxn实矩阵集合上的标准内积为:,公式太抽象,给个例子:,(对称是巧合而已),。仔细观察矩阵内积的计算,因...原创 2018-11-19 22:15:27 · 12953 阅读 · 0 评论 -
1.2 矩阵的性能指标及范数的相关应用
紧接着上文1.1,接下来梳理一下相关的性能指标。(很多东西都有先成的一大堆,这里之列自己有问题的点)一、矩阵的性能指标1.矩阵的二次型实对称矩阵是唯一的,衡量的是矩阵的正定性与负定性。2.矩阵的行列式刻画方阵的奇异性3.方阵的迹定义:并且.迹反应的是特征值之和。3.方阵的特征值/非方阵的奇异值对于方阵来说,它的特征值集合叫做它的谱,记为,谱半径是矩阵最大...原创 2018-11-22 13:52:02 · 2499 阅读 · 0 评论 -
1.25 推荐系统(矩阵补全)与盲矩阵求解
1.概论:推荐系统应该有不同种的模型,就我现在所知道的,有以下两种:第一种就是在监督学习下,预测出的概率,推荐出概率最大的物品。其中,表示物品的特征,表示事件:用户会点击物品。第二种应该多和电影推荐有关,属于无监督学习:给出电影以及用户的评分矩阵(每一行代表一个电影,不同用户对其的评分组成的一行;每一列代表一个用户,一个用户对不同电影的评价组成的每一列),其中的元素有些是空缺的,推荐系统...原创 2019-01-22 14:38:35 · 3299 阅读 · 0 评论