------机器学习------
文章平均质量分 53
无
Daniel Muei
八边形战士
展开
-
【机器学习笔记十一】 条件随机场(CRF)
一、基本定义条件随机场(CRF)是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。概率无向图模型:又称为马尔可夫随机场,是一个可以由无向图表示的联合概率分布。图是由结点及连接节点的边组成的集合,无向图是指边没有方向的图。概率图模型是由图表示的概率分布。二、三种马尔可夫性成对马尔可夫性、 局部马尔可夫性、全局马尔可夫性 概率无向图模型的定义为,设有联合概率分布P(Y),由无向图G = ( V , E )表示,在图G中,如果联合概率分原创 2021-05-29 19:13:50 · 452 阅读 · 0 评论 -
【机器学习笔记十】 隐马尔科夫模型(HMM)
一、基本定义隐马尔科夫模型(HMM)是可用于标注问题的统计学习模型,描述由隐藏的马尔科夫链随机生成观测序列的过程,即描述一个含有隐含未知参数的马尔可夫过程,属于生成模型。马尔可夫性质:无记忆性。也就是说,这一时刻的状态,受且只受前一时刻的影响,而不受更往前时刻的状态的影响。状态序列:隐藏的马尔科夫链随机生成的状态的序列观测序列:每个状态生成一个观测,由此产生的观测的随机序列隐马尔科夫模型由初始概率分布、状态转移概率分布和观测概率分布确定。即由初始状态概率向量Π、状态转移概率矩阵A和观测概率矩阵B决原创 2021-05-29 19:05:48 · 813 阅读 · 6 评论 -
【机器学习笔记九】 EM算法及其推广
一、基本定义EM算法(又称期望极大算法)是一种迭代算法,用于含有隐变量的概率模型的极大似然估计或极大后验概率估计。EM算法与其说是一种算法,不如说是一种解决问题的思路。EM算法分为两步:①E步(计算期望):利用对隐藏变量的现有估计值,计算其最大似然估计值;②M步(最大化):在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。二、EM算法的适用情况概率模型有时含有隐变量或潜在变量,此时无法用极大似然估计法或贝叶斯估计法估计参数,就得用EM算法原创 2021-05-04 21:30:40 · 1103 阅读 · 5 评论 -
【机器学习笔记八】 提升方法
一、基本定义提升方法是一个线性组合多个不同的弱分类器使其成为强分类器的方法(结合多个分类器的优势),训练过程主要通过不断加大误分类样本权重,减小正确样本数据权重(改变训练数据概率分布)来达到最终的分类器。其中最为典型的是AdaBoost算法。PS:提升方法是一种思路。二、概念的强可学习&弱可学习在概率近似正确学习的框架中:1)一个概念,若存在一个多项式的学习算法能够学习它,并且正确率很高,那么这个概念就是强可学习的。2)一个概念,若存在一个多项式的学习算法能够学习它,学习的正确率仅比随即原创 2021-05-04 21:22:44 · 227 阅读 · 0 评论 -
【机器学习笔记七】 支持向量机
一、基本定义支持向量机是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器。它和感知机很像,与感知机最大的不同点是感知机可以有很多个分离超平面,但是支持向量机只有一个最大间隔的分离超平面。线性可分支持向量机可以理解为能将数据正确划分并且间隔最大的直线。二、支持向量机的三个模型(1)当训练样本线性可分时,通过硬间隔最大化,学习一个线性可分支持向量机。(2)当训练样本近似线性可分时,通过软间隔最大化,学习一个线性支持向量机。(3)当训练样本线性不可分时,通过核技巧和软间隔最大化,学原创 2021-05-04 21:17:50 · 1276 阅读 · 8 评论 -
【机器学习笔记五】 决策树
一、决策树模型&学习(1)决策树的定义:是一种基本的分类与回归方法。(2)决策树的学习分三个步骤:特征选择、决策树的生成、决策树的修剪。(3)决策树能表示给定特征条件下的条件概率分布。(4)决策树学习本质上是从训练数据集中归纳出一组分类规则。(5)决策树学习根据损失函数最小化建立模型,损失函数通常是正则化的极大似然函数,决策树学习的策略是以损失函数为目标函数的最小化。二、特征选择(1)特征选择(划分选择)是为了使结点纯度更高。(2)特征选择的准则是信息增益或信息增益比。(3)信息增原创 2021-05-04 17:48:38 · 160 阅读 · 0 评论 -
【机器学习笔记四】 朴素贝叶斯法
一、朴素贝叶斯法的学习&分类(1)定义:是基于贝叶斯定理与特征条件独立假设的分类方法 。朴素贝叶斯并不朴素,“朴素”指强假设(变量间相互独立)。贝叶斯思维:主观判断(先验概率)→添加新信息(调整因子)→最终结论(后验概率)。朴素贝叶斯法≠贝叶斯估计(2)方法:通过训练数据集学习联合概率分布(先验概率分布+条件概率分布) 。(3)朴素贝叶斯法实际上学习到生成数据的机制,属于生成模型。(4)公式推导朴素贝叶斯的参数估计(1)先验概率P(Y=ck)的极大似然估计:(2)条件概率原创 2021-05-04 17:42:35 · 125 阅读 · 0 评论 -
【机器学习笔记三】 K近邻法
一、k近邻算法定义:K近邻算法是一种基本分类与回归方法。思想:物以类聚、人以群分。实现步骤:假设给定一个训练数据集(带标签的),根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为分类模型。三个基本要素:k值的选择、距离度量、分类决策规则k近邻算法的k:所选取的与实例x最邻近的点的个数二、k近邻模型(1)距离度量特征空间中两个实例点的距离是两个实例点相似程度的反映。这里提到两种距离:欧氏距离、曼哈顿距离(街区距离)原创 2021-05-04 17:32:40 · 183 阅读 · 0 评论 -
【机器学习笔记二】 感知机
感知机模型定义:感知机是二类分类的线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。目的:求出将训练数据线性划分的分离超平面。从输入空间到输出空间有两个函数:上面两个函数就是一次函数和一个符号函数,没有多复杂。感知机学习策略在假设空间中选取使损失函数式最小的模型参数ω,b。损失函数:感知机学习算法定义:是基于随机梯度下降法的对损失函数的最优化算法,分为原始形式&对偶形式。当训练数据线性可分时,感知机算法是收敛的,存在无穷多个解,其解由于不同的初值或迭代原创 2021-05-04 17:27:59 · 108 阅读 · 0 评论 -
【机器学习笔记一】 绪论
一、统计学习简单理解:统计学习就是机器学习研究对象:数据目的:对数据预测与分析(尤其是新数据)方法:基于数据构建概率模型分类:监督学习、无监督学习、半监督学习、强化学习二、统计学习分类基本分类(1)监督学习(需要大量数据) 定义:从标注数据中学习预测模型的机器学习问题。输入空间:输入所有可能取值的集合。输出空间:输出所有可能取值的集合。(上述两者可以是有限元素的集合,也可以是整个欧氏空间)监督学习的目的就是学习一个输入到输出的映射,用一个模型表示。若该模型属于由输入空间到输出空间的原创 2021-05-04 17:20:42 · 159 阅读 · 1 评论