知识点杂文

IPV6的路由:利用在Ipv4的网络,通过隧道技术,利用Isatap实现隧道访问ipv6服务。

2018-02-10 12:54:59

阅读数 132

评论数 0

经验风险最小化与模型选择

经验风险最小化,是使得>与>之间的值尽量小,这样才能使得我们根据训练数据训练得到的模型有普适性。可以推导出来二者的差值存在一个上界,可以根据这个上界,得到>或者>,进一步可知存在偏差方差平衡。这个上界直观上理解,主要与模型的复杂度(如假设的个数、参数数量等)、训练样本数相关...

2017-12-10 00:15:59

阅读数 233

评论数 0

最大熵模型及其算法

最大熵模型表面意义上来讲是使信息熵或者条件熵最大,一般来讲最大熵模型是使条件熵最大的模型。 最大熵模型的一些特点: 1、最大熵模型的输入输出为X,Y,求解时需要代入p(x,y)的联合概率,即p(x,y)*log(y|x)求和的模型, 这个模型里,我们需要求解的是p(y|x)的条件概率,但这里还有p...

2017-12-02 22:18:28

阅读数 316

评论数 0

RBM算法理解及推导

现在重新复习一下RBM算法,发现有一个新的发现。 首先给出几个非常好的博客: (1)关于MCMC采样及Gibbs采样:http://blog.csdn.net/pipisorry/article/details/51373090 (2)关于MCMC采样的形象解释及理解:https://www...

2017-11-25 21:14:36

阅读数 1010

评论数 0

因子分析(Factor Analysis Model)算法推导

可以参考斯坦福大学Andrew Ng的学习视频:http://open.163.com/movie/2008/1/L/3/M6SGF6VB4_M6SGKK6L3.html 关于算法总结可以参考:https://www.cnblogs.com/jerrylead/archive/2011/05/11...

2017-11-21 00:13:15

阅读数 2464

评论数 2

基于EM算法的文本聚类

文本聚类问题: 一个文本为一个向量,向量的长度为字典的长度,这个向量中的每个值为0或1,表示这个单词是否在该文章中出现。 假设为二分类,则每个向量对应一个分类值,分类值为0或1,如果为三分类,则分类值为0,1,2。而这个标签值为隐变量Z。 这里的观测O为具体的各个向量。在这个模型里,参数是什么呢?...

2017-11-20 18:47:43

阅读数 576

评论数 0

矩阵微分基础知识

转自:http://www.cnblogs.com/xuxm2007/p/3332035.html 矩阵微分 http://www.iwenchao.com/mathematics/matrix-differential.html http://en.wikipedia.org/wiki/Ma...

2017-11-17 22:41:19

阅读数 175

评论数 0

隐马尔可夫模型算法推导

上一篇博客是关于EM算法及混合高斯模型的推导,这里的隐马尔可夫模型也属于EM算法的范畴,都是使似然函数的期望最大来推导的。 隐马尔可夫模型在推导过程中与混合高斯模型不同的地方在于: 1、前者在推导时,观测序列O只有一个(一个序列包括多个序列值),而隐序列I则有许多个,因此在刚开始时,全局的P(...

2017-11-17 18:06:03

阅读数 143

评论数 0

EM算法及混合高斯模型详细推导

EM模型是一个大的范畴,在模型包含隐变量的情况下,根据观测求模型参数,EM算法的典型应用有混合高斯模型及隐马尔可夫模型。想要真正理解EM算法,了解混合高斯模型及隐马尔可夫模型的算法推导是很有必要的。以下两个图,本人结合《统计学习方法》上的算法推导及自己的理解,总结了EM算法及混合高斯模型的推导过程...

2017-11-17 00:41:03

阅读数 1014

评论数 0

Kaggle项目:Kobe Bryant Shot Selection(科比投篮选择)

作为一个篮球迷,觉得这个题目非常有意思,竞赛的网址:https://www.kaggle.com/c/kobe-bryant-shot-selection

2017-11-11 01:55:14

阅读数 1807

评论数 0

常用的机器学习算法学习

1、GBDT(Gradient Boosting Decision Tree) 2、FM(主要用于处理数据稀疏的情况),针对两两特征,增加一个系数W用于提取特征间的关系, 而后用一个小矩阵V,乘以V转置来代替W矩阵。 3、决策树与回归树: 决策树是判断yes或no,每一步选择特征时用的是(熵增益)...

2017-11-08 21:23:38

阅读数 166

评论数 0

MAP与MLE的区别及朴素贝叶斯分类器

原文地址:http://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html 最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似,但是最大的不同时,最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规...

2017-10-17 17:13:39

阅读数 691

评论数 0

tensorflow中高级函数Experiment,Estimator,EstimatorSpec,DataSet

这几个对象分别封装了: Estimator:封装网络模型和参数 EstimatorSpec:具体的模型 DataSet:封装训练数据、评估数据、自动迭代器 Experiment:封装了一个实验,参数包括Estimator估算器,输入数据等。 关于这几个模型的一个介绍的博客:https:/...

2017-10-15 17:05:56

阅读数 2566

评论数 0

数据平台Kaggle入门

以前不知道Kaggle这个平台的存在,偶然发现后,发现真是一个非常好的数据平台, 它在大数据的地位相当于leetcode在在线编程上的地位。 最开始的Kaggle从一个博客开始:http://blog.csdn.net/han_xiaoyang/article/details/49797143 这...

2017-09-29 02:18:50

阅读数 171

评论数 0

监控器物检测object detection实战

实战目的:根据家里的监控器,实时检测出监控拍到的物体,包括人、车等。 基本情况: 1、家里安装有JOVISION监控器(中维),摄像头与存储设备通过路由器连接。 2、JOVISION对应有一个客户端,名称为:云视通网络监控系统,可以在JOVISION官网下载。 ————————————————...

2017-09-26 23:43:16

阅读数 753

评论数 0

反向传播及softmax算法推导

自己重新整理了一下反向传播算法及softmax算法的推导。 (1)针对通常的反向传播算法,Loss采用差值的绝对值平方和,非线性函数采用sigmoid函数 (2)softmax算法推导是指,采用softmax对输出数据处理,并采用交叉熵作为Loss函数。 两个算法的推导过程都是通过从单一元素...

2017-09-22 22:14:56

阅读数 2260

评论数 1

强化学习A3C与UNREAL算法

A3C算法是Actor Critic算法的并行扩展。 为了训练一对Actor Critic,将其复制多份,复制的每一对各自训练,之后将每一对进行综合, 再然后将综合后的好的结果反馈给每一对复制出来的Actor Critic,一来一回能提高强化学习的学习效率。

2017-09-15 18:10:55

阅读数 1761

评论数 0

强化学习Q learning与policy gradient

开始学习强化学习: 包括alphago等都是强化学习的典型。 最典型的强化学习的算法为Q learning,这个算法的简介博客: https://www.zhihu.com/question/26408259 目前只是明白了Q learning的算法,还有很多要学习的。

2017-09-07 00:03:27

阅读数 2540

评论数 0

变分自编码器VAE

变分自编码器结构类似于简单的自编码器,但其与自编码器的最大区别在于: 自编码器不能生成没有出现过的样本,变分自编码器则可根据随机输入生成符合似然函数的新样本。 变分自编码器的一个专栏: https://mp.weixin.qq.com/s/9lNWkEEOk5vEkJ1f840zxA 变分自编码...

2017-09-04 23:19:53

阅读数 307

评论数 0

deformable convolution(可变形卷积)算法解析及代码分析

可变形卷积是指卷积核在每一个元素上额外增加了一个参数方向参数,这样卷积核就能在训练过程中扩展到很大的范围。 可变形卷积的论文为:Deformable Convolutional Networks【1】 而之前google一篇论文对这篇论文有指导意义:Spatial Transformer Netw...

2017-08-31 14:53:04

阅读数 5922

评论数 23

提示
确定要删除当前文章?
取消 删除