统计学习方法
AI让世界更懂你
计算机科学与技术专业博士,主要研究方向为人工智能、自然语言处理、大规模语言模型和对话系统等。曾与微软小冰、微软小娜共同工作。兴趣广泛,包括并不限于人工智能,心理学,认知科学,语言学,数学,天文学等。让我们一起和AI,改进世界!
展开
-
统计学习方法——K近邻模型
0. 写在前面在这一讲的讨论班中,我们将要讨论一下K近邻模型。可能有人会说,K近邻模型有什么好写的,那分明就是一个最简单的机器学习模型,哦,不,连机器学习也算不上的算法吧。但是这里,我想提醒的是,我们要讨论的,不仅仅是简单的K近邻模型,而是和它相关的一些有困惑的话题。1. K近邻定义k近邻算法,也成为KNN算法,是一种基本分类与回归算法。它在基本实现上,使用的是多数表决的惰性学习过程。也就是它实际上原创 2017-03-09 22:28:13 · 17658 阅读 · 13 评论 -
统计学习方法——支持向量机(1)
0.写在前面支持向量机是如此的大名鼎鼎,以至于我迟迟不敢动手,今天终于要解开它的神秘面纱了,而它真的是体量太大,以至于我得分3个章节来讲。今天我们讲解最简单的第一部分,线性可分的支持向量机,即保证所有样本都可以被划分正确。1.支持向量机基础1.1实际意义支持向量机的实际意义基本上和感知机一样,使用一个超平面来区分正负样例。因此它最简单的形式是只能进行二分类的。但是它的特殊之处是,它...原创 2018-04-08 21:10:57 · 604 阅读 · 0 评论 -
统计学习方法——集成学习
集成学习作为当今性能最好的多模型分类器,我们必须要了解它一下。 这里我们从最简单的集成学习Bagging开始讲起,一直讲到GBDT为止。1.集成学习集成学习是多模型学习的一种,它是集成多个弱分类器来进行决策。就是“三个臭皮匠赛过诸葛亮”,但是一般来讲是赛不了的,为什么呢?首先如果三个臭皮匠是三胞胎,那么三个臭皮匠和一个臭皮匠是无异的,另外,如何把这三个决策统一起来是另外一个问题。因此我们...原创 2018-03-21 15:46:29 · 1080 阅读 · 0 评论 -
统计学习方法——维特比算法
0.写在前面本来这章是要讲解条件随机场的,后来发现自己对于条件随机场中的维特比算法了解就不够,因此我们把条件随机场拆开来看。这里先看维特比算法。维特比算法主要是求解一个最优序列的算法。但是它也是有条件的,那就是要知道所有应该知道的参数。维特比算法实际是用动态规划解隐马尔科夫模型预测问题。其实就是求概率最大路径,这是一条路径对应着一个状态序列。1.前向算法但是维特比算法直接讲是比较复杂的,我们可以以“原创 2017-12-15 20:11:46 · 1231 阅读 · 0 评论 -
统计学习方法——绪论
0、写在前面这是统计学习方法的第一场讨论班。主要讨论在学习过程中的一些小问题。1、统计学习和机器学习是否是等价?在讨论班中第一个问题就是统计学习是不是机器学习。 观点1:统计学习就是机器学习 统计学习全称叫做统计机器学习,应该和机器学习是一样的,机器学习实际上也是使用的统计模型。 观点2:统计学习不是机器学习 统计学习主要是想依靠一种确切的概率分布来模拟整个模型。而机器学习更多的是追求结果的原创 2017-02-23 16:37:11 · 698 阅读 · 0 评论 -
统计学习方法——逻辑斯蒂回归模型
1. 写在前面本文主要针对一个简单的机器学习算法逻辑斯蒂回归模型进行相关的讲解。主要内容包括:逻辑斯蒂回归模型定义及来源、二项逻辑斯蒂回归模型形式与推导、二项逻辑斯蒂回归模型的参数估计与多项逻辑斯蒂回归模型推广。2. 逻辑斯蒂回归模型定义及来源逻辑斯蒂回归模型主要是来源于逻辑斯蒂分布与逻辑斯蒂函数。当然,如果换一个名字,你对它应当相当熟悉,那就是sigmoid函数。它的形式如下: ...原创 2017-04-22 19:54:32 · 2097 阅读 · 1 评论 -
统计学习方法——决策树
0. 写在前面决策树模型我们之前已经简要介绍过了,简要介绍决策树以及ID3决策树若干问题解答。这次我们将会详细的介绍决策树的整个知识内容,其中包括决策树的3个学习过程:特征选择、决策树的生成和决策树的修剪。以及常见的集中决策树模型。1. ID3与C4.5决策树决策树作为一种基本的分类与回归方法,经常被我们所用。尤其是因为它具有高可读性、分类速度快等优点,深受一些人的喜爱。其实它也是属于符号学派的一种原创 2017-04-16 16:54:58 · 1393 阅读 · 0 评论 -
统计学习方法——朴素贝叶斯
0.写在前面朴素贝叶斯实际上是非常简单的一种机器学习方法,我们在之前的很多地方都讲过了,所以这里我们不再阐述具体的原理,可以移步:朴素贝叶斯。 但是,对于讨论班里,争论最多的就是课后的2个习题,因此,我们重点放在这两个习题上。他们分别是: 4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式(4.9)。 4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式(4.10原创 2017-04-13 20:13:02 · 2275 阅读 · 0 评论 -
统计学习方法——模型与问题分类
0. 写在前面在这一讲中,我们主要介绍一下模型的类别以及问题的类别,并对课后习题进行相应的分析。1. 模型的类型我们知道,统计学习主要包括监督学习、非监督学习、半监督学习和强化学习。那么在统计学习方法一书中主要涉及的是监督学习。而监督学习主要分为两类,一种是生成模型,一种是判别模型。1. 生成模型生成模型是由数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测模型,其样子为:原创 2017-03-04 16:31:16 · 3877 阅读 · 0 评论 -
统计学习方法——感知机模型
0. 写在前面在这一节,我们将要正式介绍第一个机器学习方法,感知机。在机器学习课程中,我们在神经网络的课程中,第一次接触到了感知机。不过那时候,我们更多的是关注,感知机如何进行训练,包括随机梯度下降法和批梯度下降。但是对于其数学原理和正确性没有具体的深究,只是对于其表现形式和具体运行步骤有了一定的了解。在这一节中,我们将对感知机的相关问题进行讨论。1. 感知机的定义对于我们要讨论的感知机,首先要明确原创 2017-03-05 14:28:07 · 1589 阅读 · 0 评论 -
统计学习方法——最小二乘法及其具体实现
1. 引言最小二乘法作为线性拟合常用的一种方法,被广泛应用于各种数据拟合的方法中。曾经在某软时,也遇到这题,今有幸弄清最小二乘法的原理和计算方法,特地分享出来,供大家查阅和指点。本文主要内容如下:(1)介绍最小二乘法原理和相关知识(2)介绍最小二乘法的计算方法(3)使用Matlab进行最小二乘法的实现2. 最小二乘法原理和相关知识最小二乘法是线性拟合的一种常用方法,最早接触于高中时简...原创 2019-03-21 11:11:34 · 6806 阅读 · 4 评论