GoodShot的专栏

追赶,超越

统计学三大相关系数之皮尔森(pearson)相关系数

最早接触pearson相关系数时,是和同学一起搞数学建模,当时也是需要一种方法评价两组数据之间的相关性,于是找到了皮尔森(pearson)相关系数和斯皮尔曼(spearman)相关系数。其实,还有一种相关系数肯德尔(kendall)相关系数。在这三大相关系数中,spearman和kendall属于...

2018-06-19 17:06:20

阅读数 1706

评论数 0

CS231n课程笔记5.4:超参数的选择&交叉验证

CS231n简介详见 CS231n课程笔记1:Introduction。 注:斜体字用于注明作者自己的思考,正确性未经过验证,欢迎指教。1. 超参数有哪些与超参数对应的是参数。参数是可以在模型中通过BP(反向传播)进行更新学习的参数,例如各种权值矩阵,偏移量等等。超参数是需要进行程序员自己选择的参...

2018-06-16 18:48:08

阅读数 190

评论数 0

深度学习-超参数和交叉验证

1.什么是超参数没接触过机器学习的人可能对这个概念比较模糊。我们可以从两方面来理解(1)参数值的产生由来超参数是在开始学习过程之前设置值的参数(人为设置),而不是通过训练得到的参数数据。(2)超参数含义定义关于模型的更高层次的概念,如复杂性或学习能力。不能直接从标准模型培训过程中的数据中学习,需要...

2018-06-16 18:41:40

阅读数 478

评论数 0

合页损失函数的理解

在学习支持向量机的过程中,我们知道其损失函数为合页损失函数。至于为什么叫这个名字,李航老师的《统计学习方法》上是这么说的:由于函数形状像一个合页,故命合页损失函数。下图为合页损失函数的图像(取自《统计学习方法》):    之前对损失函数的意义一直不是很懂。今天,在看了吴恩达老师的《机器学习》相关视...

2018-06-16 12:10:36

阅读数 815

评论数 0

LDA (Linear Discriminate Analysis)Fisher Criteria

之前说到的PCA,它主要的目的是寻找数据variance变化最大的轴。通过删去数据中variance变化不大的轴来压缩数据的维数。PCA没有办法很好的解决数据分类的问题(classification)。LDA or Fisher Discriminate Analysis 是一种用于分类数据的分析...

2018-05-19 21:11:38

阅读数 553

评论数 0

主成分分析PCA案例及原理

1.主成分分析PCA案例 http://www.cnblogs.com/zhangchaoyang/articles/2222048.html附:使用上方链接的解释:2.主成分分析(PCA)原理总结http://www.cnblogs.com/pinard/p/6239403.html...

2018-05-19 16:05:39

阅读数 1591

评论数 0

中心化(又叫零均值化)和标准化(又叫归一化)

一、中心化(又叫零均值化)和标准化(又叫归一化)概念及目的?1、在回归问题和一些机器学习算法中,以及训练神经网络的过程中,通常需要对原始数据进行中心化(Zero-centered或者Mean-subtraction(subtraction表示减去))处理和标准化(Standardization或N...

2018-05-19 12:39:04

阅读数 15890

评论数 0

"数据的属性"及“数据的特征”

数据的属性指的是数据的最原始的特征,比如图片的原始像素点,而数据的特征大多指的是属性经过特定的操作的数据,如图片的像素点经过CNN卷积之后得到的特征。广义来说,数据的属性和特征没有区别。...

2018-05-17 11:25:25

阅读数 1669

评论数 0

经验误差,泛化误差

经验误差,泛化误差前言我们在上篇博文 《机器学习模型的容量,过拟合与欠拟合》 中曾经提到过模型的泛化问题,指的就是描述一个模型在未见过的数据中的表现能力。这里再提出了,用于比较经验误差。 ...

2018-05-17 11:22:44

阅读数 418

评论数 0

熵、交叉熵、相对熵(KL 散度)意义及其关系

2018-04-22 09:27:09

阅读数 131

评论数 0

向量表示,投影,协方差矩阵,PCA

原文:http://blog.csdn.net/songzitea/article/details/18219237引言当面对的数据被抽象为一组向量,那么有必要研究一些向量的数学性质。而这些数学性质将成为PCA的理论基础。理论描述向量运算即:内积。首先,定义两个维数相同的向量的内积为:内积运算将两...

2018-04-15 20:59:57

阅读数 525

评论数 0

PCA的本质----特征值分解

本章总结:(可 与主成分分析(PCA)-最大方差解释  https://blog.csdn.net/goodshot/article/details/79950977 结合理解)从数学的角度,对矩阵的特征值分解进行介绍,介绍了符合条件的矩阵和进行特征值分解(2),通过分析协方差的意义(3),使得原...

2018-04-15 20:59:24

阅读数 234

评论数 0

终于明白协方差的意义了

协方差其意义:度量各个维度偏离其均值的程度。协方差的值如果为正值,则说明两者是正相关的(从协方差可以引出“相关系数”的定义),结果为负值就说明负相关的,如果为0,也是就是统计上说的“相互独立”。如果正相关,这个计算公式,每个样本对(Xi, Yi), 每个求和项大部分都是正数,即两个同方向偏离各自均...

2018-04-14 16:44:53

阅读数 36752

评论数 6

有关l2,1范数作用的理解--正则化项作用,不同于l1范数(矩阵元素绝对值之和)的稀疏要求,l21范数还要求行稀疏

今天和导师讨论问题的时候,说到了l21范数。导数希望我能解释一下,我明白它的作用可是我知道我没有向老师解释清楚,有些失落。今晚就自己总结一下吧,希望下次再有人问我这个问题的时候我能向别人解释清楚。先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作...

2018-03-27 10:11:09

阅读数 2659

评论数 2

常见向量范数和矩阵范数

1、向量范数1-范数:,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。∞-范数:,即所有向量元素绝对值中的最大值,matlab调用函数nor...

2018-03-27 09:51:45

阅读数 232

评论数 0

如何理解张量tensor

1 关于张量的四种定义“张量”在不同的运用场景下有不同的定义。第一个定义,张量是多维数组,这个定义常见于各种人工智能软件。听起来还好理解。--本文仅解释此种2 多维数组从第一个定义:张量是多维数组开始。现在机器学习很火,知名开源框架tensor-flow是这么定义tensor(张量)的:A ten...

2018-03-26 12:58:13

阅读数 351

评论数 0

线性映射和线性变换的区别

线性映射(linear map),是从一个向量空间V到另一个向量空间W的映射且保持加法运算和数量乘法运算。线性映射总是把线性子空间变为线性子空间,但是维数可能降低。而线性变换(linear transformation)是线性空间V到其自身的线性映射    线性空间V到自身的映射通常称为V上的一个...

2018-03-13 15:45:47

阅读数 3875

评论数 0

数学-矩阵计算(4)两种布局

之前会发现在有的求导上最后结果需要转置,而有的不需要,很困惑,然后才发现了这个维基上面的解释(这才是写该博文的主要价值,注意到不同的布局问题,其他部分只是为了完整性而写的),而且下面也有很多很不错的参考链接,其中就有之前的矩阵计算(2)和矩阵计算(3)的链接。维基最后更新时间:17 April 2...

2018-03-13 15:45:41

阅读数 167

评论数 0

数学-矩阵计算(2)矩阵函数微积分前奏

 矩阵微积分会涉及到对矩阵函数操作的规则。例如,假设将一个m×n 的矩阵 X 映射到一个p×q 的矩阵 Y 中。而我们期望获得的导数表达式如下:对于所有的 i,j 和k,l 来说,这里主要的困难在于如何将对矩阵内的元素对应的求导,我们在矩阵计算(1)中最后有关矩阵对矩阵的求导,可是如果矩阵过大,那...

2018-03-13 11:23:59

阅读数 190

评论数 0

数学-矩阵计算(1)矩阵和向量的求导法则

    机器学习、模式识别等领域,都是需要借助数学的,所以对于数学的理解和运用是十分重要的,这里先转载网上暂时找到的矩阵求导的一小部分。成长路漫漫,多学一点,就能更加接近自己的梦想!矩阵分四个博文介绍,这里是第一个。下面的(一部分)来自某个pdf中,因为不知道出处,所以也就没法引用了。见谅!一、矩...

2018-03-13 11:22:40

阅读数 105

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭