2017年04月_pymnn

转载机器学习之期望最大算法(EM算法）

EM是我一直想深入学习的算法之一，第一次听说是在NLP课中的HMM那一节，为了解决HMM的参数估计问题，使用了EM算法。在之后的MT中的词对齐中也用到了。在Mitchell的书中也提到EM可以用于贝叶斯网络中。下面主要介绍EM的整个推导过程。1. Jensen不等式回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是

2017-04-19 17:41:58 677

转载机器学习之最大似然算法

机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。我希望自己能通俗地把它理解或者说明白，但是，EM这个问题感觉真的不太好用通俗的语言去说明

2017-04-19 17:40:40 1188

转载拉普拉斯近似算法小结

序在机器学习中，经常遇到需要对复杂分布进行近似的情况。目前常用的近似算法主要有三种：拉普拉斯近似、变分近似、Gibbs采样。其中拉普拉斯近似算法是用一个高斯分布来近似原始分布，当原始分布比较简单的时候效果会较好。目标：用一个高斯分布近似一组连续变量上的概率密度分布。一维空间：变量z，假设分布为p(z)=1Zf(z)，其中Z=∫f(z)dz是归一化项。

2017-04-19 15:24:50 1612

转载贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验以及贝叶斯学习。最近在研究主题模型，里面用到了一些，另外在机器学习中，贝叶斯学习是重要的一个方向，所以有必要学习和掌握。 Contents 1. 贝叶斯学习 2. Beta分布及共轭先验 1. 贝叶斯学习首先，我从最简单的硬币投掷开始。现在给你一个硬币，假设有

2017-04-18 19:52:18 404

转载机器学习——深度学习(Deep Learning)

Deep Learning是机器学习中一个非常接近AI的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，最近研究了机器学习中一些深度学习的相关知识，本文给出一些很有用的资料和心得。Key Words：有监督学习与无监督学习，分类、回归，密度估计、聚类，深度学习，Sparse DBN，1. 有监督学习和无监督学习给定一组数据(inpu

2017-04-15 07:12:13 384

转载机器学习中的范数规则化之（一）L0、L1与L2范数

机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。

2017-04-14 09:49:14 577

转载 Neural Network Toolbox 使用笔记1：数据拟合

Neural Network Toolbox为各种复杂的非线性系统的建模提供多种函数和应用程序。该工具箱提供各种监督学习模型：前向反馈，径向基核函数和动态网络等模型。同时也提供自组织图和竞争层结构（competitive layers）的非监督学习模型。该工具箱具有设计、训练、可视化与仿真神经网络的功能。基于该工具箱可以进行数据拟合、模式识别、分类和时间序列预测及其动态系统的建模和控制。可

2017-04-14 08:38:06 1339

pymnn的博客