![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 83
myazi
hello
展开
-
统计概率模型-朴素贝叶斯
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5,条件随机场6,马尔科夫决策过程二、朴素贝叶斯一、朴素贝叶斯 朴素贝叶斯模型也是一个典型的生成模型,一般用来处理非数值数据。其核心假设是特征之间的条件概率是相互独立的。同样由贝叶斯公式有: P(Y|X)=P(X|Y)P(Y)P(X)=P(Y...原创 2018-09-13 21:39:33 · 1054 阅读 · 0 评论 -
统计概率模型-高斯判别分析
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5,条件随机场6,马尔科夫决策过程一、高斯判别分析一、生成模型 机器学习模型有一种分类方式:判别模型和生成模型。它们之前的区别在于判别模型是直接从数据特征到标签,而生成模型是从标签到数据特征。形式化的表示就是是否使用了贝叶斯公式: maxP(...原创 2018-09-13 21:11:53 · 2465 阅读 · 0 评论 -
从线性到非线性模型-支持向量机
从线性到非线性模型1、线性回归,岭回归,Lasso回归,局部加权线性回归2、logistic回归,softmax回归,最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机六、支持向量机 在线性模型中,Fisher线性判别和线性感知机可以说是以上所有模型的分类依据,前者是映射到一维执其两端进行分...原创 2018-09-13 17:48:52 · 2460 阅读 · 0 评论 -
从线性到非线性模型-三层神经网络
从线性到非线性模型1、线性回归,岭回归,Lasso回归,局部加权线性回归2、logistic回归,softmax回归,最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机五、三层神经网络一、神经单元 深度学习的发展一般分为三个阶段,感知机–>三层神经网络–>深度学习(表示学习)...原创 2018-09-13 17:42:07 · 5569 阅读 · 0 评论 -
从线性到非线性模型-Fisher线性判别与线性感知机
从线性到非线性模型1、线性回归,岭回归,Lasso回归,局部加权线性回归2、logistic回归,softmax回归,最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机四、Fisher线性判别与线性感知机 Fisher线性判别和线性感知机都是针对分类任务,尤其是二分类,二者的共同之处在于都是...原创 2018-09-13 17:33:41 · 2170 阅读 · 0 评论 -
从线性到非线性模型-广义线性模型
从线性到非线性模型1、线性回归,岭回归,Lasso回归,局部加权线性回归2、logistic回归,softmax回归,最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机三、广义线性模型 从线性回归,logistic回归,softmax回归,最大熵的概率解释来看,我们会发现线性回归是基于高斯分...原创 2018-09-13 17:30:33 · 1815 阅读 · 0 评论 -
聚类模型-EM算法
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类四、EM算法一、EM算法 EM算法是一种迭代算法,用于带隐变量的概率模型参数的极大似然估计,是无监督学习中一大类算法求解的算法。EM算法每次迭代由两步组成,E步:假设隐变量和特征变量的联合分布P(x,z;θ)P(x,z;\theta)P(x...原创 2018-09-17 22:59:06 · 1385 阅读 · 0 评论 -
聚类模型-图聚类-谱聚类
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类六、图聚类-谱聚类谱聚类是一种定义在图上的聚类算法,与其说是聚类算法,更是一种图的向量表示。基于向量表示之后,一般可以采用其他的聚类方法完成最后聚类结果。所以谱聚类的类表示既依赖于向量表示也与之后采用的聚类算法有关。对于一个图GGG,我们一般...原创 2018-09-17 22:56:01 · 13976 阅读 · 2 评论 -
特征工程-特征提取
特征工程1、数据降维2、特征提取3、特征选择二、特征提取 特征提取是一个特征空间上的变换(映射),可以是线性和非线性的。所以特征提取与特征选择的不同之处在于,特征提取之后的特征已经不是原始特征了,而特征选择则是在原始的特征中选择出有价值的特征。既然,特征提取是一个空间上的映射,那么特征提取的问题就变成了选择合适的投影方向。选择合适的投影的方向就是必然有一个目标(保持损失最小),即目标函...原创 2018-09-17 22:54:12 · 1469 阅读 · 0 评论 -
统计概率模型-隐马尔可夫模型
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5,条件随机场6,马尔科夫决策过程三、隐马尔可夫模型一、隐马尔科夫模型定义 隐马尔科夫模型是一种时序的概率模型,描述由一个隐的马尔科夫链随机生成的不可观察的隐状态序列,在每一个隐状态下随机产生观察值构成一个可观测的随机序列。其中关键是状态序列是...原创 2018-09-13 21:42:18 · 1139 阅读 · 0 评论 -
统计概率模型-最大熵马尔科夫模型
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5,条件随机场6,马尔科夫决策过程四、最大熵马尔科夫模型 有最大熵模型和隐马尔可夫模型的基础,再看最大熵马尔科夫模型就直观多了。在隐马尔可夫模型中,p(ot,it|it−1)=p(ot|it)p(it|it−1)p(ot,it|it−1)=p(ot|i...原创 2018-09-13 21:45:54 · 934 阅读 · 0 评论 -
统计概率模型-条件随机场
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5,条件随机场6,马尔科夫决策过程五、条件随机场 条件随机场是一个概率图模型,深入图模型的话实在有太多东西。这里,我们接着隐马尔科夫模型和最大熵马尔科夫模型基础理解条件随机场。在序列标注问题上,条件随机场与两者之间的差异1)隐马尔科夫模型是一个...原创 2018-09-13 21:47:04 · 351 阅读 · 0 评论 -
聚类模型-原型聚类-KMeans
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类二、原型聚类-KMeans KMeans的类表示是聚类中心点,以点xixix_{i}来表示类,相似性度量同样可以采用常用的距离度量。根据类紧致性准则定义失真函数为所有样本点到该样本所在类中心的失...原创 2018-09-14 20:48:22 · 3107 阅读 · 0 评论 -
聚类模型-层次聚类
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类一、层次聚类一、聚类理论 一般来说,聚类是在训练样本的标签信息不知的情况下,学习样本内在的性质和规律,将有限的集合划分成ccc类。根据“方以类聚,物以群分”的思想,类内对象尽可能的相似,...原创 2018-09-14 20:47:04 · 6160 阅读 · 0 评论 -
树模型-孤立森林
树模型1、决策树 ID3,C4.5,CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林(异常检测)六、孤立森林 孤立森林(Isolation Foreset)是基于树(iTree)集成的快速异常检测方法,其异常检测的核心思想是“异常点是容易被孤立的离群点”。因此,孤立森林采用随机特征随机阈值划分生...原创 2018-09-14 20:42:05 · 2807 阅读 · 0 评论 -
树模型-XGBoost
树模型1、决策树 ID3,C4.5,CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林(异常检测)五、XGBoostXGBoost是基于GBDT的一个改进,改进之处有以下几点: 1)传统 GBDT以CART 作为基分类器,XGBoost 还支持线性分类器。 2)目标函数中引入了正则项...原创 2018-09-14 20:40:31 · 830 阅读 · 0 评论 -
树模型-GBDT
树模型1、决策树 ID3,C4.5,CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林(异常检测)四、GBDT 提升树,GBDT同样基于最小化第mmm个学习器和前m−1m−1m-1个学习器累加起来损失函数最小,提升树采用残差的思想来最小化损失函数,将投票权重放到学习器上,使得基学习器的权重都为1;...原创 2018-09-14 20:38:41 · 861 阅读 · 0 评论 -
树模型-Adaboost
树模型1、决策树 ID3,C4.5,CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林(异常检测)三、Adaboost一、Adaboost的Boosting理解Adaboost是集成学习中Boosting方式的代表。多个基学习器其串行执行,下一个学习器基于上一个学习器的经验,通过调整样本的权重,...原创 2018-09-14 20:36:51 · 461 阅读 · 0 评论 -
树模型-随机森林RF
树模型1、决策树 ID3,C4.5,CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林(异常检测)二、随机森林RF一、集成学习 集成学习通过构建多个学习器采用加权的方式来完成学习任务,类似于“三个臭皮匠顶个诸葛亮”的思想。当然多个学习器之间需要满足一定的条件,一般来讲,多个学习器同属于一种...原创 2018-09-14 20:32:44 · 1594 阅读 · 0 评论 -
树模型-决策树
树模型1、决策树 ID3,C4.5,CART2、随机森林RF3、Adaboost4、GBDT5、XGboost6、孤立森林(异常检测)一、决策树决策树是一种基本的分类和回归方法,用于分类主要借助每一个叶子节点对应一种属性判定,通过不断的判定导出最终的决策;用于回归则是用均值函数进行多次二分,用子树中数据的均值进行回归。决策树算法中,主要的...原创 2018-09-14 20:30:30 · 949 阅读 · 0 评论 -
统计概率模型-马尔科夫决策过程
统计概率模型1、高斯判别分析2、朴素贝叶斯3、隐马尔可夫模型4、最大熵马尔科夫模型5,条件随机场6,马尔科夫决策过程六、马尔科夫决策过程 机器学习算法(有监督,无监督,弱监督)中,马尔科夫决策过程是弱监督中的一类叫增强学习。增加学习与传统的有监督和无监督不同的地方是,这些方法都是一次性决定最终结果的,而无法刻画一个决策过程,无法直接...原创 2018-09-14 19:44:36 · 2652 阅读 · 0 评论 -
学习理论-PAC理论
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参二、PAC理论 概率近似正确(PAC)理论是从概率的角度来衡量模型的正确率,给出了PAC可辨识,样本复杂度界,误差上界。偏差/方差 偏差和方差是机器学习中很重要的两个概念,在分析模型时对应于欠拟合和过拟合问题。以回归问题为例,上图中左边为一个线性拟合,...原创 2018-09-17 22:49:41 · 6494 阅读 · 0 评论 -
学习理论-VC维
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参三、VC维 在PAC理论中,我们用假设空间的取值NNN来描述模型的复杂度,然而很多时候假设空间的取值是无限的,比如线性模型中模型属于连续空间,我们无法用取值来衡量模型的复杂度,VC维的主要价值在于用VC维(维度)衡量模型的复杂度,同时给出了误差上界(个人见解)。...原创 2018-09-17 22:48:12 · 632 阅读 · 0 评论 -
聚类模型-模型聚类-高斯混合
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类三、模型聚类-高斯混合高斯混合的类表示是一个高斯模型,相似性度量定义为服从类cjcjc_{j}高斯分布μ,Σμ,Σ\mu,\Sigma的概率(Kmeans的相似度量是聚距离度量),所以高斯混合聚类也可...原创 2018-09-15 18:41:16 · 756 阅读 · 0 评论 -
从线性到非线性模型-对数线性模型
从线性到非线性模型1、线性回归,岭回归,Lasso回归,局部加权线性回归2、logistic回归,softmax回归,最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机二、Logistic回归和SoftMax回归,最大熵模型一、Logistic回归分类问题可以看作是在回归函数上的一个分类。...原创 2018-08-25 17:41:30 · 5338 阅读 · 0 评论 -
从线性到非线性模型-线性回归,岭回归,Lasso回归,局部加权线性回
从线性到非线性模型1、线性回归,岭回归,Lasso回归,局部加权线性回归2、logistic回归,softmax回归,最大熵模型3、广义线性模型4、Fisher线性判别和线性感知机5、三层神经网络6、支持向量机一、线性回归一、线性回归假设有数据有T={(x(1),y(1)),...,(x(i),y(i)),...,(x(m),y(...原创 2018-08-17 11:21:41 · 2536 阅读 · 0 评论 -
NLP中文分词C++实现
NLP主要实现以下几个算法,以分词为任务,语料库为标准语料库PKU,MSR1 朴素贝叶斯2 最大匹配 中文分词3 N-gram模型4 隐马尔科夫模型5 隐马尔科夫(最大似然估计)中文分词6 最大熵马尔科夫模型7 W条件随机场 中文分词WCRF在msr上分词F1值达95.7%...原创 2018-06-06 17:05:15 · 3251 阅读 · 1 评论 -
deeplearning.ai C++代码与笔记
代码:深度神经网络 C++实现1.网络结构: 层数,神经元个数,激活函数2.初始化: Random,"he","arXiv"3.方差/偏差: Regularization, Dropout4 随机采样: Stochastic gradient descent,mini-bitch5 优化原创 2018-06-06 16:46:34 · 534 阅读 · 2 评论 -
机器学习算法C/C++实现
先说点题外话吧,已经有很长段时间没码代码了,因为个人觉得代码什么时候时候敲都不晚,而数学总是学不完。直到最近才意识到,有必要把当前学的理论转化为代码。其实,在写这些代码的过程中,难的不是如何编程实现,而是如何理解那些数学推导过程。尤其是矩阵的运算,自己写的库还是很浅的,而对机器学习而言,大部分的运算都是建立在矩阵基础上的。再次说明,难得不是编程,而是算法,是数学!对于机器学习理论部分,以后有时间再搬原创 2017-05-07 17:24:31 · 12452 阅读 · 13 评论 -
SVM
一、 从线性模型到SVM 1.1线性模型与SVM 支持向量机中两个重要的概念是超平面和函数间隔/几何间隔,数学形式上也是在找一个(超平面方程) ,使得几何间隔最大化(线性可分)。这与线性模型中 的目标很相似,但是两个的方法是不一样的,但有异曲同工其妙。前者是超平面方程,后者是线性函数,前者是为了直观的通过超平面来划分两类,使得样本到超平面的间隔距离最大,后者是将样本数据映射到一维数轴上进行分类原创 2017-05-03 00:28:16 · 378 阅读 · 0 评论 -
聚类模型-EM算法
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类四、EM算法一、EM算法 EM算法是一种迭代算法,用于带隐变量的概率模型参数的极大似然估计,是无监督学习中一大类算法求解的算法。EM算法每次迭代由两步组成,E步:假设隐变量和特征变量的联...原创 2018-09-15 19:25:22 · 2279 阅读 · 0 评论 -
聚类模型-密度聚类-DBSCAN
聚类模型1、层次聚类2、原型聚类-K-means3、模型聚类-GMM4、EM算法-LDA主题模型5、密度聚类-DBSCAN6、图聚类-谱聚类五、密度聚类-DBSCANDBSCAN的类表示是一簇密度可达的样本,相似性度量定义为密度可达,密度可达即为一类,属于硬划分。密度聚类是一种基于密度的聚类,其根据样本的空间分布关系进行聚类。一般来讲,用...原创 2018-09-15 19:27:10 · 1779 阅读 · 0 评论 -
学习理论-模型诊断与调参
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参六、模型诊断与调参一、快速搭建 1、数据集准备 2、特征工程 3、模型选择 4、模型评价在我们开发过程中,我们往往都是摸着石头过河,我们不知道数据应该是什么样子,不知道数据的特征,数据集多少合适,如何进行特征工程,选择什么样的模型最合适,最后我们...原创 2018-09-17 22:46:53 · 315 阅读 · 0 评论 -
学习理论-模型评估与评价指标
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参五、模型评估与评价指标一、模型评估 在不同的假设空间下,依据各自的准则选择出最优模型后(学习),往往需要对这些模型进行评估。一般而言,把训练数据划分为训练集-验证集-测试集。训练集:用来训练不同模型,获得模型及其训练误差;验证集:与训练集相对独立,获取训练...原创 2018-09-17 22:45:00 · 1449 阅读 · 0 评论 -
学习理论-VC维
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参三、VC维 在PAC理论中,我们用假设空间的取值NNN来描述模型的复杂度,然而很多时候假设空间的取值是无限的,比如线性模型中模型属于连续空间,我们无法用取值来衡量模型的复杂度,VC维的主要价值在于用VC维(维度)衡...原创 2018-09-15 19:53:22 · 537 阅读 · 0 评论 -
学习理论-PAC理论
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参二、PAC理论 概率近似正确(PAC)理论是从概率的角度来衡量模型的正确率,给出了PAC可辨识,样本复杂度界,误差上界。偏差/方差 偏差和方差是机器学习中很重要的两个概念,在分析模型时对应于欠拟合和过...原创 2018-09-15 19:49:09 · 1006 阅读 · 0 评论 -
学习理论-基本概念
学习理论1、基本概念2、PAC理论3、VC维4、极大似然,最大后验概率,贝叶斯估计5、模型评估与评价指标6、模型诊断调参一、基本概念机器学习三定义: 1、计算机系统能够利用经验提高自身的性能 2、学习就是一个基于经验数据的函数估计问题 3、提取重要模式、趋势、并理解数据,从数据中学习引用吾师的话:“三个定...原创 2018-09-15 19:45:25 · 1420 阅读 · 0 评论 -
特征工程-特征选择
特征工程1、数据降维2、特征提取3、特征选择三、特征选择 以上,特征提取的方法实际上都是建立在一个空间变换上,所以一般只适合数值型属性,然而现实场景中有非常多的非数值型属性,对于这一类的属性是无法直接做特征提取的(一般编码成数值型),所以特征选择的适用场景更广泛。一、过滤式 过滤式选择是设计一个“统计量”(比如和标签的相关性)来度量特征的...原创 2018-09-15 19:43:24 · 401 阅读 · 0 评论 -
特征工程-特征提取
特征工程1、数据降维2、特征提取3、特征选择二、特征提取 特征提取是一个特征空间上的变换(映射),可以是线性和非线性的。所以特征提取与特征选择的不同之处在于,特征提取之后的特征已经不是原始特征了,而特征选择则是在原始的特征中选择出有价值的特征。既然,特征提取是一个空间上的映射,那么特征提取的问题就变成了选择合适的投影方向。选择合适的投影的方向就是必然有一个...原创 2018-09-15 19:42:25 · 623 阅读 · 0 评论 -
特征工程-数据降维
特征工程1、数据降维2、特征提取3、特征选择一、数据降维一、特征工程 特征工程是一个很大的概念,实在找不到合适的词,语句来描述特征工程。为了直观的学习特征工程,还是从特征工程处理的流程来窥视特征工程为何物? 1、数据的生成,这部分严格意义上说不属于特征工程范畴。因为数据都没有的话,谈何学习,但是数据即是特征,如何生成数据也是特征生成的过程...原创 2018-09-15 19:35:33 · 961 阅读 · 0 评论