机器学习算法
ChaucerG
永怀敬畏之心、感恩之心
展开
-
机器学习回顾与总结之——线性模型
目录1、简介2、逻辑回归(logistic回归)2.1、逻辑回归的第一种表述2.1.1、概念描述2.1.2、凸函数证明2.2、逻辑回归的第二种表述1、简介对于线性模型家族而言,其包括逻辑回归(logistic)与线性支持向量机(线性SVM),它们需要拟合的目标函数都是线性函数,虽然线性函数的建模能力有限,但当特征向量维数很高、训练样本数很大时它具有速度上的优势,在大...原创 2019-10-22 16:04:15 · 393 阅读 · 0 评论 -
统计学习方法学习笔记9——隐马尔科夫模型(HMM原理推导分析与分词项目实践)
目录1.简介2.概率计算方法2.1、模型参数的介绍2.1.1、初始概率2.1.2、状态转移矩阵2.1.3、观测概率矩阵2.2、前向-后向算法2.2.1、前向算法2.2.2、后向算法2.2.3、前向算法与后向算法的关系3、HMM的训练/学习问题3.1、Baum-Welch算法3.2、Baum-Welch算法伪代码4、预测问题:Viterbi算...原创 2019-06-28 16:12:32 · 809 阅读 · 2 评论 -
统计学习方法笔记8——HMM(隐马尔科夫模型)之前向后向算法的推导
自己学习HMM时的一下推导过程,用word进行推导然后输出为png图片,希望大家一起学习,由于HMM学习实践比较久,所以后期的HMM的学习算法以及训练部分的算法和代码部分会以另外一篇blog形式进行记录,希望可以持续关注哈...原创 2019-06-28 10:17:54 · 513 阅读 · 0 评论 -
统计学习方法学习笔记7——提升方法(集成学习)
提升方法文章目录提升方法前言章节目录导读加法模型+前向分步算法提升方法AdaBoost算法提升方法的基本思路Adaboost算法算法8.1步骤AdaBoost例子例子8.1AdaBoost 误差分析AdaBoost 算法的解释前向分步算法算法8.2提升树提升树模型提升树算法算法8.3梯度提升(GBDT)算法8.4AdaBoost与SVM的关系AdaBoost与LR的关系参考前言章节目录提...原创 2019-06-14 19:50:31 · 342 阅读 · 0 评论 -
统计学习方法学习笔记6——支持向量机
https://blog.csdn.net/qq_24819773/article/details/86513166转载 2019-06-14 18:23:28 · 183 阅读 · 0 评论 -
统计学习方法学习笔记5—— 逻辑斯谛回归与最大熵模型
目录1.概述2.逻辑斯谛回归模型2.1.逻辑斯谛分布2.2.1.二线逻辑斯谛回归模型的条件概率分布2.3.多项逻辑斯谛回归2.3.1.多项逻辑斯谛回归模型2.3.2.二元推广2.4.对数线性模型2.5.模型参数估计3.最大熵模型3.1.信息论相关的概念3.1.1.信息量3.1.2.信息和概率的关系3.1.3.概率3.1.4.熵3.1....原创 2019-06-01 11:12:00 · 362 阅读 · 0 评论 -
统计学习方法学习笔记4——决策树模型
目录1.概述2.决策树的优缺点:2.1.决策树的优点:2.2.决策树的缺点:3.决策树算法模型3.1.特征选择的准则3.2.树的生成3.3.树的剪枝4.决策树在sklearn中的类4.1.分类4.2.回归5.书本案例sklearn实现1.概述决策树是一种用来分类和回归的无参监督学习方法,其目的是创建一种模型从数据特征中简单的决策规则来预测一个...原创 2019-05-30 20:46:21 · 701 阅读 · 0 评论 -
统计学习方法学习笔记3——朴素贝叶斯模型
朴素贝叶斯属于:概率模型、参数化模型、和生成模型目录1.朴素贝叶斯基本方法2.后验概率最大化的含义3.朴素贝叶斯算法:朴素贝叶斯python实现4.1:朴素贝叶斯sklearn实现作业4.1贝叶斯的优缺点:1.朴素贝叶斯基本方法2.后验概率最大化的含义3.朴素贝叶斯算法:朴素贝叶斯python实现4.1:class Navie_...原创 2019-05-27 21:12:47 · 328 阅读 · 0 评论 -
统计学习方法学习笔记2——KNN
K 近邻算法:输入:训练数据集 T = {(x1,y1), (x2,y2),...,(xn,yn)} 其中,xi为属于R的实例特征向量,yi是属于{c1,c2,...,ck}的实例类别实例特征向量为xi。 输出:实例 x 所属的类 y。 步骤: 1.根据给定的距离度量,在训练集 T 中找出与 x 最近邻的 k 个点,涵盖这 k 个点的 x 的领域记作 Nk(x); 2....原创 2019-05-25 10:54:24 · 277 阅读 · 0 评论 -
主成分分析的推导——PCA
为什么PCA的提取特征一定是选取最大特征值对应的特征向量呢?下面是个人针对花书得到的忒大证明:参考书目:深度学习[M]. 古德费洛原创 2019-03-14 15:12:28 · 256 阅读 · 0 评论 -
机器学习算法(4)——SVM算法(SMO 算法的推导与实现)
目录 1.简介2.分类2.1、线性可分支持向量机(也称为硬间隔支持向量机)2.2、线性支持向量机(也称为软间隔支持向量机)2.3、非线性支持向量机2.4、函数间隔与几何间隔2.4.1、函数间隔2.4.2、几何间隔2.4.3、函数间隔与几何间隔的关系2.5、几类支持向量机的算法2.5.1、线性可分支持向量机学习算法——最大间隔法2.5.2、线...原创 2019-01-16 20:38:00 · 1785 阅读 · 0 评论 -
机器学习算法(1)——Logistic Regression
1、二项逻辑回归模型二项回归模型是一种二分类模型,由条件概率分布 P(Y|X) 表示,形式为参数化的逻辑分布。这里的随机变量 X 取值为实数,随机变量 Y 取值为 1或0 ,通过监督学习的方法来估计模型参数。定义1:二项逻辑回归模型是如下的条件概率分布: 这里x为输入,y为{0,1}输出,w为权值参数向量,b为偏置向量,wx为w和x的内积。...原创 2019-01-09 21:39:07 · 852 阅读 · 0 评论 -
机器学习算法(3)——FM(Factorization Machine)算法(推导与实现)
1、前言由于逻辑回归只能处理线性可分的模型或者数据集,又由于现实生活中的分类问题是多种多样的,存在大量的非线性可分的分类问题,为了能够满足要求,对逻辑回归(Logistic Regression)进行了如下的优化:(1)、对特征进行处理: 如:核函数的方法,将非线性可分的问题转换成近似线性可分的问题;(2)、对逻辑回归(Logistic Regression...原创 2019-01-11 19:06:18 · 8800 阅读 · 12 评论 -
机器学习算法(2)—— Softmax Regression
1、前言由于逻辑回归算法复杂度低、容易实现的特点,在工业界得到广泛的应用。如计算广告中的点击率预估等。但是逻辑回归主要用于二分类问题,若需要处理的是多分类问题,如手写数字识别这一类的多分类问题,此时可能需要的是能够处理多分类问题的算法。2、Softmax Regression算法模型2.1、Softmax Regression 概率模型假设有 m 个训练样本: ...原创 2019-01-10 21:43:04 · 584 阅读 · 0 评论