统计学习方法杂记

Herbert A.Simon 把学习定义为:一个系统通过执行某个过程来改进自身的性能。 在这个定义下,统计机器学习就是计算机系统运用数据和统计学习方法改进计算机系统性能的过程。 统计学习的过程可以总结为:假设训练数据是独立同分布产生的,并且要学习的目标模型属于某类映射的集合,称之为假设空间,然后...

2018-12-19 18:09:41

阅读数 43

评论数 0

概率模型(六):参数学习问题

PGM模型的另一个典型的问题就是模型学习的问题。模型的学习问题一般分为模型结构学习和模型参数学习,这里只介绍一下模型的参数学习问题。 模型参数学习的问题,又分为不含隐变量和包含隐变量两种情况 不含有隐变量模型 不含隐变量的模型参数学习问题一般直接采用极大似然估计算法。 包含NNN个训练样本的样本集...

2018-12-17 22:38:17

阅读数 28

评论数 0

概率模型(五):推断问题

PGM模型的典型问题之一就是推断问题。 推断 推断问题定义为,已知模型中的部分随机变量e\textbf ee,计算其他部分随机变量q\textbf qq的后验概率,即: P(q∣e)P(\textbf q|\textbf e)P(q∣e) 一般的根据贝叶斯公式直接进行计算: P(q∣e)=P(q,...

2018-12-17 19:29:02

阅读数 28

评论数 0

Paper Summary : MapReduce

2018-12-11 11:51:13

阅读数 51

评论数 0

信息提取(Information Extraction)

信息提取(IE) 信息提取(IE)的目标是将文本信息转化为结构化信息,起初用于定位自然语言文档中的特定信息,属于自然语言处理的一个子领域。 随着网页文本信息的急剧增长,越来越多的人投入到信息提取(IE)领域的研究。 网页文本信息的非结构化特征和无序性,一般只能采用全文检索的方式查找。但是网页中充斥...

2018-11-18 21:24:19

阅读数 253

评论数 0

概率模型(四):条件随机场(CRF)

条件随机场(Conditional Random Field,CRF)是一个比较重要的概率模型,在详细介绍CRF之前,首先简单介绍一下概率图(Probabilistic Graphical Model,PGM),有时候简称图模型(Graphical Model, GM). PGM 概率图模型用图的...

2018-11-18 10:19:25

阅读数 79

评论数 0

概率模型(三):隐马尔科夫模型HMM

HMM,隐马尔科夫模型(Hidden Markov Model),是比较经典的机器学习模型,非常适合于输入是"序列"的问题的建模,包括"文本序列"、“时间序列”、"行为...

2018-11-11 22:33:25

阅读数 46

评论数 0

Video Index And Retrieval

2018-10-25 20:05:46

阅读数 53

评论数 0

特征工程(一)

##总览 特征工程的目标是最大限度地从原始数据中提取好的特征以供算法和模型使用, 做好特征工程需要专业领域知识、直觉以及数学能力,能够使简单的模型达到很好的效果。 对数据的所有的特征进行学习并不能很好的提高算法的表现,而且无用的特征会增加算法运算的复杂度,因为特征中有噪音、有冗余。 所以,特征工程...

2018-09-20 17:12:24

阅读数 109

评论数 0

概率模型(二):高斯混合模型GMM

本文介绍GMM算法,也就是高斯混合模型,或则更准确的说,应该称为高斯线性混合模型。 高斯分布 又称为正太分布,常态分布,是自然界大量存在的、最为常见的分布。例如人类和动物的身高,体重,测量误差等等。正太分布的概率密度函数如下: f(x)=12σ2π‾‾‾‾‾√e−...

2018-08-24 13:04:45

阅读数 203

评论数 0

概率模型(一):极大似然估计与EM算法

最大似然估计 对于随机事件,在确定了概率模型,但是不确定模型参数的时候,可以用最大似然估计法来估计模型的参数。 比如,对于离散型随机事件,已知事件的概率分布函数为P(x;θ)P(x;θ)P(x;\theta)(分号左边是随机变量,分号右边是模型的参数,这个符号的意思是随机变量x的概率分布函数是...

2018-08-09 14:38:58

阅读数 265

评论数 0

Summary of Boosted Tree and Factorization Machines

Definition: yˆ=∑k=1Kfk(x)y^=∑k=1Kfk(x)\widehat y=\sum_{k=1}^{K}f_k(x) In which fk(x)fk(x)f_k(x) is one of K regression trees. Loss: Loss=∑i=...

2018-08-03 18:12:00

阅读数 132

评论数 0

TensorFlow技术内幕(十二):Estimator(上)

本章分析TensorFlow的高层模块Estimator. TF的高层模块Estimator是采用Python语言开发的,在分析此模块之前先普及一下Python语法,本文不准备作为Python的入门教程,所以只列举几个TF中广泛使用但又不是很好理解的Python语法。 Python ...

2018-08-01 17:44:43

阅读数 291

评论数 0

TensorFlow技术内幕(十一):模型优化之量化(Quantize)

背景 Neural Network模型一般都会占用很大的磁盘空间,比如AlexNet的模型文件就超过了200 MB.模型包含了数百万的参数,绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的,普通的压缩算法很难压缩它们的空间。 一般模型的内部的计算都采用了浮点数计算,浮点数的计算...

2018-07-24 16:18:47

阅读数 2047

评论数 5

TensorFlow技术内幕(十):梯度的计算

梯度的计算是频繁的任务。在所有的的learning algorithm里几乎都用到了梯度。可以参考这片训练算法总结。本文中我具体介绍各式各样的训来拿算法,而把焦点聚焦在梯度计算这个子任务上。 梯度的定义 对于一个Rn→RRn→RR^n \rightarrow R的函数: f(x1,x2,....

2018-07-23 17:48:03

阅读数 826

评论数 0

Learning Algorithm Summary

Target wˆ=argminw∑i=1nL(w,zi),||w||1≤sw^=argminw∑i=1nL(w,zi),||w||1≤s\widehat{w}=argmin_w\sum_{i=1}^{n}L(w, z_i), ||w||_1 \le s wˆ=argminw∑i=1nL...

2018-07-21 17:25:26

阅读数 127

评论数 0

深度置信网络(二):玻尔兹曼机

HopField网络中,我们引入了网络能量的定义: E=−∑isibi−∑i<jsisjwijE=−∑isibi−∑i<jsisjwijE=-\sum_{i}s_ib_...

2018-06-21 17:44:43

阅读数 134

评论数 0

深度置信网络(一):HopField网络

HopField 这里我们值分析离散型的HopField网络。HopFiled网络由循环相连的二值神经元组成,如下图: 图1: 图中每两个神经元间的连接都是双向的 每个节点iii都有一个二值状态值sisis_i,取值为0、1或则1、-1;所有神经元的状态值组合,称为HopField网络...

2018-06-21 15:09:29

阅读数 354

评论数 0

TensorFlow技术内幕(九):模型优化之分布式执行

随着模型和数据规模的不断增大,单机的计算资源已经无法满足算法的需求,本章分析一下TensorFlow内核中的对分布式执行支持。 GrpcSession 在第五章中,分析Graph的执行过程的时候,提到Graph的执行可以选择本地执行,对应的Session实现类是DirectSession,...

2018-06-19 17:10:00

阅读数 254

评论数 0

个人微信公众号

开通了微信公众号,以后的文章两个平台同步发布。 多谢支持,你们的鼓励是我坚持下去的动力!

2018-06-16 13:12:00

阅读数 92

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭