mykeylock的博客

主要参考这个链接：https://www.bilibili.com/video/av6500834?from=search&seid=3249893627908257126对应的一系列学习视频主要收获：1、向量点积、线性变换和投影后两个向量长度相乘的本质联系。2、矩阵的秩代表线性变换后的维度。3、矩阵的行列式值等于矩阵变换后（维度不变）空间压缩的比例。其正负与xy轴的相对...

IPV6的路由：利用在Ipv4的网络，通过隧道技术，利用Isatap实现隧道访问ipv6服务。

2015微软在Kaggle上的恶yi代码分类比赛：冠军队伍的三个黄金特征：1、恶yi代码图像把一个二进制文件以灰度图的形式展现出来，利用图像中的纹理特征对恶yi代码进行聚类。2、OPCode n-gramn-gram是计算某个语句出现的概率，用马尔科夫模型，结合条件概率计算得到，这里的语句是操作语句，如Push Mov等操作语句。————————————————————...

经验风险最小化，是使得>与>之间的值尽量小，这样才能使得我们根据训练数据训练得到的模型有普适性。可以推导出来二者的差值存在一个上界，可以根据这个上界，得到>或者>，进一步可知存在偏差方差平衡。这个上界直观上理解，主要与模型的复杂度（如假设的个数、参数数量等）、训练样本数相关，而且可以直观得得到这个上界与模型复杂度成正相关，与样本数成负相关。这里关于模型复杂度的度量方法，可以用VC维的方式来表征，而

最大熵模型表面意义上来讲是使信息熵或者条件熵最大，一般来讲最大熵模型是使条件熵最大的模型。最大熵模型的一些特点：1、最大熵模型的输入输出为X,Y，求解时需要代入p(x,y)的联合概率，即p(x,y)*log(y|x)求和的模型，这个模型里，我们需要求解的是p(y|x)的条件概率，但这里还有p(x,y)的概率，这里为了能够有效的计算模型，这里的p(x,y)用p'(x)*p(y|x)来

现在重新复习一下RBM算法，发现有一个新的发现。首先给出几个非常好的博客：（1）关于MCMC采样及Gibbs采样：http://blog.csdn.net/pipisorry/article/details/51373090（2）关于MCMC采样的形象解释及理解：https://www.zhihu.com/question/20743905/answer/155412666（3）关

可以参考斯坦福大学Andrew Ng的学习视频：http://open.163.com/movie/2008/1/L/3/M6SGF6VB4_M6SGKK6L3.html关于算法总结可以参考：https://www.cnblogs.com/jerrylead/archive/2011/05/11/2043317.html以下图为自己完善的算法推导流程：待添加

文本聚类问题：一个文本为一个向量，向量的长度为字典的长度，这个向量中的每个值为0或1，表示这个单词是否在该文章中出现。假设为二分类，则每个向量对应一个分类值，分类值为0或1，如果为三分类，则分类值为0,1,2。而这个标签值为隐变量Z。这里的观测O为具体的各个向量。在这个模型里，参数是什么呢？我们需要由参数出发，经由隐变量，计算得到观测O，因此这里的参数设计可以类似于隐马尔可夫模型的

转自：http://www.cnblogs.com/xuxm2007/p/3332035.html矩阵微分http://www.iwenchao.com/mathematics/matrix-differential.htmlhttp://en.wikipedia.org/wiki/Matrix_calculushttp://www.atmos.washington.edu

上一篇博客是关于EM算法及混合高斯模型的推导，这里的隐马尔可夫模型也属于EM算法的范畴，都是使似然函数的期望最大来推导的。隐马尔可夫模型在推导过程中与混合高斯模型不同的地方在于：1、前者在推导时，观测序列O只有一个（一个序列包括多个序列值），而隐序列I则有许多个，因此在刚开始时，全局的P(O|λ)可以去掉；而混合高斯模型的观测则有很多个，每个观测只包括一个值（一维的单个值或者多维的向量

EM模型是一个大的范畴，在模型包含隐变量的情况下，根据观测求模型参数，EM算法的典型应用有混合高斯模型及隐马尔可夫模型。想要真正理解EM算法，了解混合高斯模型及隐马尔可夫模型的算法推导是很有必要的。以下两个图，本人结合《统计学习方法》上的算法推导及自己的理解，总结了EM算法及混合高斯模型的推导过程。其中混合高斯模型处理的是一维数据，多维数据的在其基础上有些变化，随后整理。

作为一个篮球迷，觉得这个题目非常有意思，竞赛的网址：https://www.kaggle.com/c/kobe-bryant-shot-selection

1、GBDT（Gradient Boosting Decision Tree）2、FM（主要用于处理数据稀疏的情况），针对两两特征，增加一个系数W用于提取特征间的关系，而后用一个小矩阵V，乘以V转置来代替W矩阵。3、决策树与回归树：决策树是判断yes或no，每一步选择特征时用的是（熵增益）或者（Gini系数）的方法回归树则用于拟合，结果需要给出一个特定的数值，每一步选择特征时用

原文地址：http://www.cnblogs.com/liliu/archive/2010/11/24/1886110.html最大后验估计是根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中。故最大后验估计可以看做规则化的最大似然估计。    首先，我们回顾上篇文章中的最大似然估计，假设x为独立同分布的

这几个对象分别封装了：Estimator：封装网络模型和参数EstimatorSpec：具体的模型DataSet：封装训练数据、评估数据、自动迭代器Experiment：封装了一个实验，参数包括Estimator估算器，输入数据等。关于这几个模型的一个介绍的博客：https://zhuanlan.zhihu.com/p/29073452github上一个代码例程：https

以前不知道Kaggle这个平台的存在，偶然发现后，发现真是一个非常好的数据平台，它在大数据的地位相当于leetcode在在线编程上的地位。最开始的Kaggle从一个博客开始：http://blog.csdn.net/han_xiaoyang/article/details/49797143这篇文章从一个基本问题出发，讲解了算法从设计到比较完善的一个总流程，对新手来说帮助非常大。

实战目的：根据家里的监控器，实时检测出监控拍到的物体，包括人、车等。基本情况：1、家里安装有JOVISION监控器（中维），摄像头与存储设备通过路由器连接。2、JOVISION对应有一个客户端，名称为：云视通网络监控系统，可以在JOVISION官网下载。——————————————————————————————————————————思路：用一个训练好的小的Fas

自己重新整理了一下反向传播算法及softmax算法的推导。（1）针对通常的反向传播算法，Loss采用差值的绝对值平方和，非线性函数采用sigmoid函数（2）softmax算法推导是指，采用softmax对输出数据处理，并采用交叉熵作为Loss函数。两个算法的推导过程都是通过从单一元素出发，扩展到向量的形式。反向传播算法更详细的推导可参考博客：https://zhuanlan.

A3C算法是Actor Critic算法的并行扩展。为了训练一对Actor Critic，将其复制多份，复制的每一对各自训练，之后将每一对进行综合，再然后将综合后的好的结果反馈给每一对复制出来的Actor Critic，一来一回能提高强化学习的学习效率。

开始学习强化学习：包括alphago等都是强化学习的典型。最典型的强化学习的算法为Q learning，这个算法的简介博客：https://www.zhihu.com/question/26408259目前只是明白了Q learning的算法，还有很多要学习的。