u012756814的博客

EM 算法如果概率模型的变量都是观测变量，那么给定数据，可以直接使用极大似然估计法。但当模型含有隐含变量时，不能简单的进行极大似然估计，需要EM算法。因此EM算法是对含有隐含变量的概率模型参数进行极大似然估计。为了说明EM算法，首先介绍Jession不等式。Jession inequality 如果 f 为凸函数f′′(x)≥0f″(x)≥0f''(x)\geq 0,那么f(E(x...

隐马尔科夫模型隐马尔科夫模型（Hidden Markov Model(HMM)）是可用于标注问题的统计学习模型，描述由隐藏的马尔科夫链随机生成观察序列的过程，属于生成模型，可以应用于语音识别，词性标注，音字转换，概率问题发等自然语言处理的各个应用。本文的总结主要根据李航《统计机器学习方法》，隐马尔科夫模型内容，但对概率计算问题，做了更清楚的补充，从而使证明更易懂。而且对维特比算法做了更清晰...

条件随机场条件随机场（conditional random field,CRF）是给定一组随机变量条件下另一组输出随机变量的条件概率分布模型。条件随机场可以用于不同的预测问题，本文主要参考《统计学习方法》条件随机场，主要说明用于标注问题的线性链(linear chain)条件随机场。概率无向图模型概率无向图模型(probabilistic undirected graphical ...

从VC维角度理解正则化与偏差方差权衡正则化与偏差方差权衡是机器学习中的两个核心问题。本文尝试从VC维的角度阐释正则化与偏差方差权衡，以便更好的应用机器学习的方法。本文主要包括以下四方面内容：1、机器学习的框架2、VC维理论（不做严格的证明，只说明VC维的概念，以及说明为什么VC维 可以作为模型复杂度的度量，以及论述偏差-方差权衡）3、从VC维的角度理解正则化4、深度学习与V...

深度学习的实用层面本文尝试对吴恩达深度学习课程，第二节《改善深层神经网络》，第一周课程《深度学习的实用层面》做一个简单总结，主要包括以下几个方面的内容：1、训练集、开发集、测试集（Train,Dev,Test Set）2、偏差、方差分析3、正则化​ L2正则化​ L1正则化​ 作为约束的范数惩罚​ dropout​ early stoppin...

深度模型中的优化1、学习与纯优化有什么不同2、神经网络优化中的挑战3、基本算法4、自适应学习率算法5 、优化策略与元算法学习与纯优化差别1、机器学习算法的目标是降低泛化误差，即J∗(θ)=E(x,y)→pdataL(f(x;η),y)J∗(θ)=E(x,y)→pdataL(f(x;η),y)J^*(\theta) = E_{(x,y) \to pdata}L(f(x...

实践方法论要成功的使用深度学习技术，仅仅知道存在那些算法和解释他们为何有效的原理是不够的，一个优秀的机器学习实践者还需要知道如何针对具体应用挑选一个合适的算法以及如何监控，并根据实验反馈改进机器学习系统。机器学习系统开发中，实践者需要决定是否收集更多的数据 是否增加训练集的多样性是否训练更长时间是否使用更好的优化方法是否增加和减小模型容量是否添加后删除正则化项是否使...

本文尝试对卷积神经网络（convolutional neural network ,CNN）做一个总结，主要包括以下几部分内容1、卷积神经网络的动机和基本精神2、卷积神经网络的原理3、卷积神经网络的参数和数据的维度4、使用python实现卷积神经网络5、经典卷积神经网络6、卷积神经网络在NLP中的应用7、卷积神经网络实例卷积神经网络的动机和基本精神卷积神经网...

词的向量表示：word2vec如何表达一个单词过去人们使用分类词典(taxonomic resources，比如WordNet)来表达一个词的意义，这是人们在实践中建立起来的，很难再去获得更多有意义的价值。分类词典的问题：1、在分类层面上，失去了大量的细微差别(nuance)：很多同义词之间的微妙差别在分类词典中没有表示。比如adept, expert, good, pra...

1、logistic 回归 2、什么是神经网络，神经网络到底实现了什么？3、为什么一定要深？4、梯度下降，链式法则，反向传播算法 和计算图5、向量6、对课程中反向传播过程出现的矩阵做一些说明7、常见的激活函数以及为什么使用激活函数8、使用python搭建深度神经网络