统计学习方法
文章平均质量分 94
傅里叶、
业精于勤荒于嬉,行成于思毁于随
展开
-
几种简单范数介绍
什么是范数?我们知道距离的定义是一个宽泛的概念,只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念,它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解,我们可以把范数当作距离来理解。在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,转载 2017-10-08 22:30:37 · 812 阅读 · 0 评论 -
各种聚类算法的介绍和比较
最近项目用到聚类算法,将其系统的总结一下。一、简要介绍1、聚类概念聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起,不同数据尽量分离。2、聚类和分类的区别聚类技术通常又被称为无监督学习,因为与监督学习不同,在聚类中那些表示数据类别的分类或者分组信息是没转载 2018-04-17 10:26:12 · 812 阅读 · 2 评论 -
协方差矩阵
一、统计学的基本概念 统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述: 均值: 标准...转载 2018-06-04 15:19:08 · 820 阅读 · 1 评论 -
PCA与协方差矩阵
一、协方差矩阵一个维度上方差的定义:协方差的定义:(a)协方差就是计算了两个维度之间的相关性,即这个样本的这两个维度之间有没有关系。协方差为0,证明这两个维度之间没有关系,协方差为正,两个正相关,为负则负相关。协方差矩阵的定义:对n个维度,任意两个维度都计算一个协方差,组成矩阵,定义如下直观的对于...转载 2018-06-04 15:34:19 · 13245 阅读 · 5 评论 -
AUC、Precision、Recall、F-measure、Accuracy
机器学习常见评价指标:AUC、Precision、Recall、F-measure、Accuracy主要内容 AUC的计算Precision、Recall、F-measure、Accuracy的计算1、AUC的计算 AUC是一个模型评价指标,用于二分类模型的评价。AUC是“Area und...转载 2018-09-20 09:06:33 · 581 阅读 · 0 评论 -
Accuracy和Precision
原创 2018-09-20 09:24:03 · 2917 阅读 · 0 评论 -
在没有网的windows环境下安装Python模块
在安装python环境以及python的一些模块时,可能需要在没有网的windows环境下安装Python模块。python模块下载地址,几乎所有的模块都有:https://www.lfd.uci.edu/~gohlke/pythonlibs/在上面的网页中搜索,会发现很多版本后缀为.whl的模块,1、将.whl的模块文件下载2、将.whl文件重命名为.zip文件3、解压重命名...原创 2018-09-29 17:19:49 · 2383 阅读 · 3 评论 -
Zero-shot Learning / One-shot Learning / Few-shot Learning
在 迁移学习 中,由于传统深度学习的 学习能力弱,往往需要 海量数据 和 反复训练 才能修得 泛化神功 。为了 “多快好省” 地通往炼丹之路,炼丹师们开始研究 Zero-shot Learning / One-shot Learning / Few-shot Learning。爱上一匹野马 (泛化能力),可我的家里没有草原 (海量数据) 。Learning类型分为: Zero-shot ...转载 2018-10-29 09:55:05 · 379 阅读 · 1 评论 -
RBF神经网络的一些个人理解
RBF径向基函数,取值仅依赖于离原点距离的实值函数,任何满足这种特性的函数就叫径向基函数。一般采用欧氏距离,也可以用其他距离。简介:是单隐层的前馈神经网络,使用径向基函数作为隐层神经元的激活函数,输出层则是对隐层神经元输出的线性组合(理论上可以设置多个隐层,但一般只设计一个隐层)。所以从输入空间到隐含层空间的变换是非线性的,而从隐含层空间到输出层空间变换是线性的。根据Cover定理,低...原创 2018-10-31 10:39:57 · 9630 阅读 · 6 评论 -
粒子群算法
粒子群算法:通过模拟鸟群觅食过程中的迁徙和群聚行为而提出的一种基于群体智能的全局随机搜索算法,用于解决优化问题。设想这样一个场景:一群鸟在随机的搜索食物。在这个区域里只有一块食物,所有的鸟都不知道食物在哪。但是它们知道自己当前的位置距离食物还有多远。那么找到食物的最优策略是什么?最简单有效的就是搜寻目前离食物最近的鸟的周围区域。(1)简述❃每个寻优的问题解都被想像成一只鸟,称为“粒...原创 2018-10-30 18:45:09 · 1226 阅读 · 0 评论 -
关于损失函数的一些个人理解
关于损失函数的一些个人理解1、损失函数的定义:量化不同的错误到底有多坏2、SVM损失函数真实分类的得分要比其他分类的得分高出足够的安全边距,那么损失为0,也就是有足够的能力进行分类了,并且大于足够的阈值后,即能够正确分类了,算法就不管了不再继续了。一开始用一些很小的随机值来初始化并在第一次迭代时损失函数等于C-1(1)hinge损失(合页损失)是SVM损失函数的一种,对微小的错...原创 2018-11-07 14:40:21 · 2658 阅读 · 2 评论 -
Batch Normalization的一些个人理解
简单说一说Batch Normalization的一些个人理解:1、要说batch normalization不得不先说一下梯度消失和梯度爆炸问题梯度消失一是容易出现在深层网络中,二是采用了不合适的损失函数也较容易发生梯度消失,比如sigmoid;梯度爆炸一般出现在深层网络和权值初始化值太大的情况。考虑这样一个简单的三隐层的全连接网络我们假设每一层网络激活后的输出为fi(x...原创 2018-11-10 15:40:13 · 1940 阅读 · 0 评论 -
如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题
如何理解神经网络优化中Momentem能够缓解hessian矩阵病态的问题?1、首先介绍一下,矩阵的病态问题矩阵病态主要是因为矩阵向量之间相关性太大,在二维上说就是矩阵向量之间的夹角太小,导致这两个相似的矩阵向量稍有改变,计算结果就会有很大的不同。看一个例子更容易理解:2、接着介绍下hessian矩阵,hesiian矩阵很好理解,它就是是一个多元函数的二阶偏导数构成的方阵,...原创 2018-11-08 08:37:08 · 3060 阅读 · 1 评论 -
卷积神经网络, Convolutional Neural Networks , CNN
1,简介CNN是deep learning在图像处理领域的一个应用由具有可学习的权重和偏置常量(biases)的神经元组成,是deeplearning在图像处理的一个应用2,卷积层(Convolutional layer)每层卷积层由若干卷积单元组成,每个卷积单元(神经元)的参数都是通过反向传播算法优化得到的。卷积运算的目的是提取输入的不同特征,第一层卷积层可能只能提取一些低级原创 2018-01-20 17:21:31 · 913 阅读 · 2 评论 -
神经网络neural network简单理解
1,简介神经网络的一个神经元又叫logistic回归,由两层神经元组成的神经网络:感知机单层网络只能做线性分类任务两层神经网络中的后一层也是线性分类层,应该只能做线性分类任务,关键就是,从输入层到隐藏层时,数据发生了空间变换。也就是说,两层神经网络中,隐藏层对原始的数据进行了一个空间变换,使其可以被线性分类2,BP神经网络反向传播(Backpropagation,BP)算法原创 2018-01-20 17:17:40 · 1103 阅读 · 1 评论 -
scikit-learn algorithm cheat sheet【汉化版】
英文原版链接:http://scikit-learn.org/stable/tutorial/machine_learning_map/看得有点累,做了个汉化版汉化版:(有很多名词合理地强行翻译了一下,否则全英文的词汇太多,不通顺的时候,请看看下面的原版)英文原版(2016年9月30日最后更新):转载 2018-01-04 17:00:46 · 2745 阅读 · 1 评论 -
NP完全问题
NP完全问题,是世界七大数学难题之一,排在百万美元大奖的首位,够诱惑力吧!咋不求得奖只需要了解了解它是什么就可以了。 什么是NP完全问题,NP=Non-deterministic Polynomial,也就是多项式复杂程度的非确定性问题, 是不是看汉语翻译一下子给懵了。没事,我们慢慢来,要了解NP问题,我们先从P问题开始,P就是Polynomial(多项式)的意思。P类问题就是所有复杂度为多项转载 2017-10-18 09:03:30 · 826 阅读 · 0 评论 -
几种常用范数与距离的关系
1 范数向量的范数可以简单形象的理解为向量的长度,或者向量到零点的距离,或者相应的两个点之间的距离。向量的范数定义:向量的范数是一个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| = |c| ||x|| ,三角不等式||x+y|| <= ||x|| + ||y||。常用的向量的范数:L1范数: ||x|| 为x向量各个元素绝对值之和。L2范数: ||x||为x向量各转载 2017-10-14 15:51:38 · 23898 阅读 · 2 评论 -
柯西-施瓦茨不等式的四种形式
柯西,施瓦茨不等式原创 2017-10-14 15:46:17 · 94750 阅读 · 4 评论 -
希尔伯特Hilbert空间的一些简单理解
希尔伯特空间是欧几里德空间的一个推广,其不再局限于有限维的情形。与欧几里德空间相仿,希尔伯特空间也是一个内积空间,其上有距离和角的概念。希尔伯特空间还是一个完备的空间,其上所有的柯西序列等价于收敛序列。希尔伯特空间为基于任意正交系上的多项式表示的傅立叶级数和傅立叶变换提供了一种有效的表述方式,而这也是泛函分析的核心概念之一Hilbert空间基底一般是函数,常见的是含有各种频率的平面波函原创 2017-11-28 15:35:54 · 10509 阅读 · 2 评论 -
深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却不转载 2017-11-29 15:57:03 · 257 阅读 · 1 评论 -
This application has requested the Runtime to terminate it in an unusual way. Please contact the app
在做机器学习实战第九章的实验,使用Tkinter和matplotlib绘制回归树和模型树时,代码没有问题但是抛出了如下错误ValueError: Masked arrays must be 1-DFatal Python error: PyEval_RestoreThread: NULL tstateThis application has requested the Runtime to terminate it in an unusual way.Please contact the app原创 2017-12-09 16:29:47 · 4059 阅读 · 0 评论 -
一句话简单总结李航统计学习法各算法
K近邻:选取样本集合中K个距离最近的数据中出现次数最多的分类,作为新数据的分类native bayes :利用训练数据计算类的先验概率P(Y)和特征向量对应每一类的条件概率P(X|Y),计算联合概率分布P(X,Y),再计算测试集中每一个待分类语句在每一类的分类后验概率P(Y|X),选后验概率最大的作为其分类决策树首先找出最有判别力的属性,把样例分成多个子集,每个子集又选择原创 2017-12-11 15:48:04 · 664 阅读 · 4 评论 -
一些关于bootstrap,bagging,Adaboost,random forest, gradient boost的基本理解
Bootstraping: 名字来自成语“pull up by your own bootstraps”,意思是依靠你自己的资源,称为自助法,有放回的抽样方法,是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法bagging:bootstrap aggregating的缩写,套袋法。每次使用bootstraping方法抽取k个样本,得到k个训练集,k个训练原创 2017-12-04 17:18:51 · 1311 阅读 · 1 评论 -
一篇写的很好的XGBoost的博客(于简书转载)
xgboost的原理没你想像的那么难转载 2017-12-23 17:05:38 · 2543 阅读 · 0 评论 -
scikit-learn的主要模块和基本使用
引言对于一些开始搞机器学习算法有害怕下手的小朋友,该如何快速入门,这让人挺挣扎的。在从事数据科学的人中,最常用的工具就是R和Python了,每个工具都有其利弊,但是Python3.x在各方面都相对胜出一些,这是因为scikit-learn库实现了很多机器学习算法。加载数据(Data Loading)我们假设输入时一个特征矩阵或者csv文件。首先,数据应该被载入内存中。scikit-lea转载 2018-01-03 18:00:44 · 359 阅读 · 0 评论 -
RNN和LSTM、GRU的简单理解
RNN循环神经网络,recurrent neural networks1,RNNs已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用,如语言模型与文本生成,机器翻译,语音识别,2,RNNs的目的是用来处理序列数据,RNN中一个序列当前的输出与前面时刻的输出也有关(结合前面的状态、当前的记忆与当前的输入)。具体的表现原创 2018-01-21 16:36:13 · 4219 阅读 · 0 评论 -
分治、贪心、动态规划的简单理解
分治、贪心、动态规划都是要将问题划分为一个子问题,然后通过解决子问题进而求解最终问题分治:将问题分解为结构相似独立子问题,递归求解各个子问题,然后合并子问题的解来求解最终问题。动态规划:适用于子问题存在重叠的情况,各个子问题包含公共子子问题,并且下一个阶段的求解是建立在上一个阶段的基础上,也就是说当前状态是对之前所有状态的总结。主要有两种:递归+备忘录;逆序递推需要满足:有重叠...原创 2018-12-11 18:23:30 · 254 阅读 · 0 评论