机器学习
大力水手王老吉
我就是大力水手
展开
-
隐马尔可夫模型(HMM)初探
HMM模型前提假设与模型表示模型求解**HMM的三个问题**EvaluationLearning隐马尔可夫模型是一种重要的概率图模型。作为一种著名的有向图模型,HMM广泛应用于语音识别和序列预测等领域。前提假设与模型表示两个假设:齐次马尔可夫假设:假设隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态,与其他时刻的状态及观测无关,也与时刻t无关。状态独立假设:某一时刻的观测变量只...原创 2019-11-05 20:30:07 · 222 阅读 · 0 评论 -
决策树(decision tree)算法--ID3,C4.5详细介绍
决策树ID3C4.5决策树是一种常用的分类和回归方法,其规则类似于IF-THEN形式。决策树学习通常包括三个步骤:特征选择、决策树生成和决策树修剪。代表性的算法:ID3,C4.5,CART决策树学习本质上是从训练数据集中归纳出一组分类的规则,找到一个和训练数据矛盾较小的决策树。决策树学习用损失函数表示目标,通常情况下其损失函数是正则化的极大似然函数,我们的目的就是将损失函数最小化。重要概...原创 2019-09-24 17:26:04 · 518 阅读 · 0 评论 -
朴素贝叶斯补充
朴素贝叶斯贝叶斯定理朴素贝叶斯贝叶斯分类是统计学的经典分类方法。而贝叶斯分类来自于贝叶斯定理。经过研究发现朴素贝叶斯的分类效果可以和决策树和经过选择的神经网络相媲美。朴素贝叶斯法是基于贝叶斯定理和特征条件独立性假设的分类方法。而为什么叫朴素也是由于其条件独立性假设得出的,也就是所有的变量都是相互独立的。贝叶斯定理公式:P(H∣X)=P(X∣H)P(H)P(X)P(H|X)=\frac{P(...原创 2019-09-23 20:35:56 · 301 阅读 · 0 评论 -
概率图--贝叶斯网络、马尔可夫网络
概率图引:贝叶斯网络引:概率图模型中,概率指的是对数据的一个抽象,图代表的是各种结构。概率图模型关注的是高维的随机变量P(xi,...,xp),P(x_i,...,x_p),P(xi,...,xp),的求解,一般对概率图模型,可以求得其边缘概率P(xi)P(x_i)P(xi)或者是条件概率P(xj∣xi)P(x_j|x_i)P(xj∣xi)概率图模型的求解准则:加法准则P(x1...原创 2019-09-03 13:04:09 · 1075 阅读 · 0 评论 -
神经网络
神经网络神经元模型感知机和神经网络反向传播算法神经元模型神经网络是具有适应性的简单 单元组成的广泛并行互连的网络。它的组织能后模拟生物神经系统对真实世界物体所作出的交互反应。生物神经网络中,每个神经元兴奋的时候就会向其他神经元发送化学物质;当神经元的电位超过一个阈值,他就会被激活,向其他神经元发送化学物质。将上述情况抽象成模型,就是M-P神经元模型。如图:这个模型中,神经元接收来自n个...原创 2019-08-26 09:21:57 · 896 阅读 · 0 评论 -
降维--PCA,特征选择
降维引入原因均值和方差的矩阵形式PCA最大投影方差最小重构代价PCA算法描述引入原因为了防止过拟合,我们通常的解决办法有:增加数据,正则化,降维等方法。为什么要引入降维呢?当数据量过大特征过多的时候,数据的维度过高有可能会导致维度灾难。在没有更过数据进行补充的情况下,一般都是做降维处理。而且在高维情况下,数据会越来越稀疏,并且数据会分布在样本空间的边缘地区,这绝对不是我们想要的结果。下...原创 2019-08-23 11:17:43 · 1969 阅读 · 0 评论 -
线性分类-感知机,线性判别分析,逻辑回归,高斯判别分析,朴素贝叶斯
线性回归线性分类硬输出-感知机硬输出-线性判别分析软输出-判别式:逻辑回归软输出-生成式:高斯判别分析软输出-生成式:朴素贝叶斯线性分类从线性回归到线性分类,通过激活函数或者降维来实现。线性回归函数f(w,b)=wTx+bf(w,b)=w^Tx+bf(w,b)=wTx+b经过激活函数作用y=f(wTx+b)y=f(w^Tx+b)y=f(wTx+b)作用后变成硬分类问题yϵ{0,1}y\eps...原创 2019-08-22 17:13:21 · 1751 阅读 · 0 评论 -
线性回归--最小二乘法、岭回归
线性回归线性回归最小二乘法概率角度正则化:L1-lasso,L2-岭回归如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入线性回归线性回归作为最简单的数据拟合函...原创 2019-08-21 16:48:32 · 1668 阅读 · 0 评论 -
核方法
核方法核方法定义核函数背景正定核函数核方法定义定理:令H\mathbb HH为核函数κ\kappaκ对应的再生希尔伯特空间,∣∣h∣∣H||h||_\mathbb H∣∣h∣∣H表示H\mathbb HH空间中关于hhh的范数,对于任意单调递增函数Ω:[0,∞]↦R\Omega :[0,\infty] \mapsto \mathbb RΩ:[0,∞]↦R和任意非负损失函数L:R↦[0.∞],...原创 2019-08-25 10:56:27 · 1572 阅读 · 0 评论 -
支持向量机
支持向量机概念核心理论在统计学习理论基础上发展而来的支持向量机(support vector mechines,SVM)算法,是一种专门研究有限样本预测的方法。作为一种二分类模型,其基本模型是作用在特征空间上的间隔最大的线性分类器,间隔最大使其有别于感知机模型。支持向量机的学习策略就是间隔最大化,这就可以将其形式化为一个求解凸二次规划的问题。最大间隔分类超平面假设给定观测样本集合S={(...原创 2019-08-24 14:16:45 · 1251 阅读 · 0 评论