机器学习
潜流surging
这个作者很懒,什么都没留下…
展开
-
机器学习概述
机器学习概述注:本文中机器学习大部分指统计学习,本人水平有限,如有纰漏,敬请不吝赐教。1.前言 机器学习专门研究计算机怎样实现人类的学习行为。人类学习行为可以看做一种算法,当我们牙牙学语时,大人们会指着布谷鸟说这是鸟,这就可以看做是输入数据,这时候我们对鸟有了一定的认识,看到布谷鸟我们知道是鸟。当然当我们看到白鹭时,还是没办法认识到这是鸟,不断地重复,我们能够自动抽象出一种模型:”有翅膀、...原创 2019-04-13 14:08:39 · 192 阅读 · 0 评论 -
模型评估与选择
模型评估与选择注:由于本人水平有限,难免出现纰漏,敬请诸君不吝赐教。1.前言 机器学习具体说来,就是从假设空间中找出最优的模型。对于现实问题,应该先对问题进行分析,选择某一个模型算法,比如支持向量机、随机森林等,训练得出模型。但不同模型算法或者同一模型算法不同超参数都可能产生比较大的性能差异,这时,我们需要评估模型好坏,从而确定模型算法以及超参数。2.评估方法(1)留出法 留出法直...原创 2019-04-17 12:01:58 · 421 阅读 · 0 评论 -
支持向量机SVM算法推导及实现
支持向量机1.前言支持向量机(Support Vector Machine)是常用的分类模型,其核心思想是求解超平面使得数据集分成两堆,其中一堆是正例,另一堆是反例。但能够将数据集D分开的超平面存在很多个,如下图所示,我们应该如何选择最优超平面呢?从直觉上看,粗线应该是最优超平面,因为正反例样本距离超平面最远、间隔最大。间隔越大,说明分类越准确,置信度越高。在样本空间中,划分超平面可以通...原创 2019-04-26 12:52:26 · 903 阅读 · 0 评论 -
EM算法及高斯混合模型算法推导
期望最大化(EM)算法1.前言 概率模型有时候既含有观测变量,又含有隐变量。只含有观测变量的情况下,直接对观测值进行极大似然估计便能够求出参数;比如抛一枚不均匀硬币n次,极大似然估计能够求解出正反面分别出现的概率。在含有隐变量的情况下,无法通过极大似然估计求得;比如手中有三枚不均匀硬币,先从中选取一枚硬币,然后再抛,得到的正反面为观测值;如果直接用极大似然估计,无法体现选择硬币的过程,错误地...原创 2019-05-13 17:47:09 · 1865 阅读 · 0 评论 -
集成学习(AdaBoost、随机森林)算法推导
集成学习1.个体与集成 有一句文化术语,“三个臭皮匠顶个诸葛亮”。本篇文章的主题集成学习就是这句话的践行者,什么是集成学习呢?集成学习就是将多个个体学习器组合成一个组合学习器的方法,这样的组合通常能够取得优于个体学习器的泛化性能,特别是个体学习器是弱学习器时效果显著,因此,集成学习理论研究通常针对于弱学习器。多个学习器既可以采用同一种模型算法,又可以采用不同的模型算法;前者的集成是"同质的"...原创 2019-05-10 10:08:30 · 592 阅读 · 0 评论 -
隐含马尔科夫(HMM)模型算法推导
隐含马尔科夫(HMM)模型1.简介 隐含马尔科夫模型是一种关于时序的有向图概率模型,可用于最高气温预测、分词等时序数据建模问题。首先介绍下这一类问题的特点,用oto_tot表示t时刻观测值,记观测值序列为O={o1,o2,…,on}O=\{o_1,o_2,\dots,o_n\}O={o1,o2,…,on},某一个时刻t的观测值与前n个时刻观测值有一定关系;根据常识来看,某天的最高气温...原创 2019-05-17 14:43:50 · 728 阅读 · 0 评论