宁悦的博客

去年3月份开始学习机器学习开始，7月份学习深度学习、强化学习，经过一年多的学习终于算勉强入门。把自己搜集到的一些书籍和不错的视频推荐给大家，希望帮助大家快速入门AI，同时也是作为自己学习的一个阶段性总结。一、机器学习1.1 书籍类1.周志华-西瓜书（链接：https://pan.baidu.com/s/1wE07V3XeWuUqSJvhXrK9qQ提取码：phbl）2.李航-统计...

一、推理问题简介推理问题是概率图模型的核心，分为精确推理和近似推理。推理问题可以分为3类：1>求边缘概率：2>求条件概率：3>求MAP：二、变量消除法简介变量消除法的思想很简单，就是对联合概率不断求和消除其中的变量，最后得到边缘分布。如上图所示，首先对联合概率来说，先把b消元，得到中间只含a和c的表，然后对c进行求和，得到最后只含有a的概率表，对这...

一、神经网络简介神经网络的发展可以说一波三折，神经网络的前身感知机算法因为无法解决异或问题，而被明斯基批判，导致神经网络研究的衰退，后来多层感知机和BP算法的提出，让神经网络的研究得到了一定发展，可惜由于算力不够，加上同期SVM，集成方法的成功，导致研究又陷入了低谷，而后Hinton在06年提出深度学习，把神经网络又重新拉回了大家的视野，进而16年AlphaGo的成功，开启了一个新的时代-深度...

一、贝叶斯网例子贝叶斯网是一种经典的概率图模型，它利用有向无环图来刻画属性之间的依赖关系。首先来看一个的例子，一个学生想要请求教授为其写一封推荐信，推荐信的质量用变量L表示，取值范围为{是,否}。而教授健忘不知道这个学生的名字，所以要查看学生的成绩来确定是否为其写推荐信。学生成绩的取值范围为{A,B,C}，分别对应于g1,g2,g3，而考试的成绩和试题的难度还有智商有关系，他们的取值范围都...

一、DBSCAN算法概念介绍DBSCAN算法是密度聚类算法，所谓密度聚类算法就是说这个算法是，根据样本的紧密程度来进行聚类。下面来介绍一些DBSCAN中的概念。要根据样本中的数据密度进行聚类，首先定义样本中数据密度大的地方应该怎样表示，很直观的想法就是如果A样本周围有5个样本，那么我们认为A样本是密度很高的。那你可能会说，为啥不是10个呢，周围是离A样本多远啊。这两个是我们算法中要调整的超...

一、层次聚类定义每一种聚类方法都有其特定的数据结构，对于服从高斯分布的数据用K-Means来进行聚类效果会比较好。而对于类别之间存在层结构的数据，用层次聚类会比较好。例如，要把所有的大学专业进行分类，这很明显是一个带有层次结构的分类，计算机科学与技术，物联网工程，网络工程等等，可以看成计算机学科，而计算机学科，机械等又可以看成工科专业。最终所有的学科会划分成13个学科门类。而实现层次聚类会...

一、最大熵模型的理解最大熵模型是由最大熵原理推导而来的，最大熵原理认为在所有可能的概率模型中，熵最大的模型是最好的模型。即在满足约束条件的情况下，所有变量的取值都是等可能的。假设有如下的离散分布：x 1 2 ...... k p p1 p2 ...... pk 现在利用最大熵原理，证明熵最大的...

我们都知道logistic回归，softmax回归，线性回归，他们看上去不一样但是他们都属于广义线性模型【Generalized Linear Mode】。这篇博客就来介绍他们。要介绍广义线性模型前，首先介绍指数分布族。一、指数分布族【The exponential family】指数分布族具有如下形式：下面是对指数分布族的一些理解：下面列出怎么求解参数二、最大熵的...

一、贝叶斯线性回归框架二、贝叶斯线性回归详细介绍首先介绍Inference，求出后验概率。下面是推断的部分：给定X，求出Y万分感谢下面的参考资料，这个系列真的帮我理解了很多算法，建议大家看看。参考资料：机器学习-白板推导系列-贝叶斯线性回归...

支持向量积根据数据的情况分为三种。如果数据是线性可分的，则用线性可分支持向量积。如果数据是近似线性可分的，则用线性支持向量积。如果数据是不可分的，则用非线性支持向量积。一、线性可分支持向量积1.1 线性可分模型的定义线性可分支持向量积的数据是线性可分，如下图所示，存在一个超平面能将数据完全分开。而支持向量积训练的目的就是找到一个超平面能将上述的数据分开，但是能将数据分开的超平面...

一、K-Means算法流程K均值算法是学习无监督学习的第一个算法，这个算法理解和实现都比较简单，算法的目的是将数据分成K组。为了达到这个目的，算法首先随机初始化k个数据点（聚类中心），然后遍历所有数据，计算出每一个数据到k个点的距离，找到最小的距离，则该点属于这个类。之后计算每一组中的平均值，然后更新聚类中心，直到中心点不再发生变化。下面是算法的运行过程：输入：没有标签的数据X，...

高斯分布在整个机器学习中都频繁出现，比如，在一开始学习线性回归的时候，在涉及到他的概率解释的时候，假设噪声服从高斯分布。在高斯混合模型（GMM），高斯判别分析（LDA）等等中，都涉及到了高斯分布，所以这里结合CS229课程笔记和机器学习-白板推导（二）-数学基础来对高斯分布进行一个介绍。一、一维高斯分布一维高斯分布的概率密度函数如下：下面是均值为0，方差为1的高斯分布图像：...

一、背景在讲PCA之间，我们先来讨论一下过拟合的问题。通常遇到过拟合，会有两种方式解决。增加训练的数据、正则化。在数据很难增加的情况下，我们一般采取正则化来避免过拟合。但除了正则化之外，我们也可以采取降维的方式来解决这个问题。下面是解决过拟合的方式。为什么降维可以解决过拟合的问题？在我们通常收集的数据中，有很多特征是可以由其他特征推测出来，或者两个特征其实是描述的同一件事情。比如，...

一、高斯判别模型定义高斯判别属于生成模型的一种（明明是个生成模型，名字里面非得加个判别，还有logistic回归模型，明明是分类，名字里面非要加回归），生成模型就是要最大化后验概率，如下图所示：下面是整个高斯判别模型的说明：二、模型求解2.1 模型中Φ的求解下面就是求解模型参数的过程：2.2 模型中u1，u2的求解2.3 模型中Σ的求解...

一、线性回归的一般形式监督学习的主要任务是分类和回归，而线性回归是最简单的一种回归方式。线性回归是要解决上面的问题，对于给定房子的面积如何来预测房子的价格。根据数据分布的特点，我们很自然的想到，如果能找到一条直线。这条直线在这些数据上表现好，那么它就能完成对于未知数据的预测。很自然我们假设的直线应该是下面的样子。其中，Θ是参数为了衡量我们假设函数的好坏，还需要引进损失函数来评...

LDA线性判别的思想很简单，把训练集样本投影到一条直线上，使得同类样本的投影点尽可能近，不同类样本点的距离尽可能远。即类内小，类间大。一、LDA模型定义下面我们把类内小，类间大这种思想转化为数学表达式：上面的式子不容易求解，需要对上面的式子做化简。二、LDA模型求解2.1 求解方式12.2 求解方式2上面的方法可能理解起来比较困难，下面是西瓜书和Jerr...

在AlphaGo成功之后，我以为DeepMind的下一步动作是进军游戏产业，制作一个能打败所有顶尖游戏选手的程序，毕竟这个能做出来也很拉风。但是，没想到他下一步的动作是AplhaFold，用来预测蛋白质的三维结构，运用人工智能技术来助力科学发现。在Community Wide Experiment on the Critical Assessment of Techniques for Pro...

一、KNN算法概述K近邻算法（k-nearest neighbor,KNN）是一种基本的分类和回归方法,KNN算法对于一个新的样本只需要计算和他最近的K个点，K个点中多数表明他是那个类，他就是那个类。KNN没有和别的算法一样，要先训练，然后才能预测。这个算法可以直接预测该点的标记。只是在查找最近的K个点的时候，需要遍历整个数据集，消耗的时间会非常大。为了减少查找的时间，才有了K-D树。...

通常决策树的学习分为3个步骤：特征选择、决策树的生成、决策树的剪枝。一、特征选择首先，看一组数据，是贷款申请样本数据表，年龄，有工作，有自己的房子，信贷情况为特征，类别为是否申请成功数据。摘自李航的统计机器学习。决策树的本质是树，对应上面具体的问题，构建树的时候，选择年龄、有工作、有自己的房子、信贷情况、他们中谁作为二叉树的第一个节点会让分类的结果准确一点。就产生了决策树的特征选择...

一、感知机原理感知机是最简单的线性二分类模型，如果要处理的数据是线性可分的，则该模型能取得很好的效果，如果数据不是线性可分的，则该模型不能取得很好的效果。以二维平面为例，如果要分类的点，能被一条直线分开，直线的一侧是正类，直线的另一侧是负类，则说明数据是线性可分的。如果数据需要一个圆来分开则说明数据不是线性可分的，曾经感知机因为不能处理异或问题，而被人批判，导致神经网络的研究停滞了几十年。...

一、全概率公式与贝叶斯公式下面是是全概率公式和贝叶斯公式的定义（张宇概率九讲）贝叶斯定理是在事件已经发生后，反过来讨论事件在那个条件下发生的概率。下面以一个例题来讲解全概率公式和贝叶斯公式二、朴素贝叶斯算法朴素贝叶斯算法属于生成模型，需要对p(x|y)进行建模，如下图所示：p(y)称为先验概率，他给出的是属于那一个类别的概率，这个一般比较好计算。p(x|y)是lik...

一、logistic回归原理1.1 从线性回归到logistic回归角度理解模型logistic回归名字里有回归两个字，但本质上是一个分类问题，对于给定的特征输入X，判断该特征代表的样例是正类还是负类。借鉴以前我们学习线性回归的知识，我们希望建立一个线性模型Wx+b，让模型能告诉我们如果是正类输出1，是负类输出0，但是我们都知道wx+b的结果是负无穷到正无穷上的所有数，所以没办法满足我们的...

一、背景1.1 GMM背景有时候我们的数据分布可能如上左图所示，根据数据分布情况我们猜测这个数据服从三个高斯分布如上右图所示，很自然就会把模型定义为三个高斯模型的混合接下来我们会尝试用极大似然估计的方法来求解其中的参数，1.2 GMM为什么不能用极大似然估计解决因为无法用对数极大似然估计法求得参数的解析解，所以引入了EM算法来进行求解参数。二、EM算求解参数...

一、集成学习AdaBoost是集成学习的一种。集成学习的目的是通过结合几个由给定的算法组成的模型，去提高单个模型的准确率。就是俗话说的三个臭皮匠顶一个诸葛亮的意思。对于多个简单的模型，集成学习有两种结合算法的方式，一种是平均的方式，例如Bagging方法，随机森林法。另一种是提升的方法，例如：Adaboost,GBDT等。二、AdaBoost根据上面集成学习的定义，AdaBoost算法...

隐马尔可夫模型属于生成模型，它在语音识别、自然语言处理、生物信息、模式识别领域有广泛的应用。隐马尔可夫模型可以用三句话概括，一个模型、两个假设、三个问题。解决了这些问题，隐马尔可夫模型也就掌握了。一、一个模型1.1 模型定义先引入一些有关HMM的符号：观测变量符号为O，O1，O2，O3.....为观测序列，它的取值集合为V={v1，v2，v3....}状态变量符号为I，i1，i...

一、EM算法推导需要用到的数学知识1.1条件分布函数条件分布的定义如下图所示，对于条件分布需要了解的是下面两个式子： 1.2边缘分布函数 ...