![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 82
董蝈蝈
这个作者很懒,什么都没留下…
展开
-
机器学习之支持向量机(SVM)
支持向量机是一种二分类模型。有简至繁:线性可分支持向量机(linear support vector machine in linearly separate case),当训练数据线性可分时,可以通过硬间隔最大化,学习一个线性分类器。线性支持向量机(linear support vector machine),当训练数据近似线性可分时,通过软间隔最大化,学习线性分类器。非线性支持向量机(non-linear support vector machine),当训练数据不可分时,通过使用核技巧及软间.原创 2020-08-12 15:38:42 · 214 阅读 · 0 评论 -
深度学习之Skip-Gram和CBOW原理
Word2vec1. 独热编码热编码(one-hot recording)如果词典如下V=(apple,going,I,home,machine,learning)V = (apple, going, I, home, machine, learning)V=(apple,going,I,home,machine,learning)apple=(1,0,0,0,0,0)machine=(0,0,0,0,1,0)learning=(0,0,0,0,0,1)I,Going,Home=(0,1,1,原创 2020-06-23 15:28:30 · 821 阅读 · 0 评论 -
深度学习之损失函数及python实现
损失函数深度学习中损失是用来衡量预测结果和真实结果的误差,从而能够反向传播更新整个网络参数。1. 均方误差(MSE)MSE(Mean Square Error)一般用于回归问题。其由在假设误差服从高斯分布的条件下得到,具体推导见机器学习之线性回归原理与Python实现.公式:l(ypred)=12(ypred−y)2 l(y_{pred}) = \frac {1} {2} (y_{pred} - y)^2l(ypred)=21(ypred−y)2其一阶级导数:∂l∂ypred=y原创 2020-06-16 10:10:32 · 4851 阅读 · 0 评论 -
深度学习之一个例子(BP算法,loss函数)以及python实现
一个多分类问题的实例1. 单个神经元的逻辑单个神经元的逻辑可以有如下图表示:其中Pre-activation是线性函数的到的,可以表示为:a(x)=∑i=1dwixi+b=wTx+ba(x) = \sum_{i=1}^d w_i x_i + b = \mathbf w^T \mathbf x + ba(x)=i=1∑dwixi+b=wTx+bPost-activation是激活函数:h(x)=g(a(x))=g(wTx+b)h(x) = g(a(x)) = g(\mathbf w^T \原创 2020-06-16 09:58:39 · 1396 阅读 · 0 评论 -
机器学习之潜在狄利克雷分配(LDA)变分EM算法及python实现
LDA变分EM算法变分推理(variational inference)是贝叶斯学习中常用的,含有隐变量模型的学习方法。变分推理和上一章节的吉布斯采样不同,吉布斯采样的算法通过随机抽样的方法近似计算模型的后验概率,而变分推理通过解析的方法计算模型的后验概率的近似值。本章节内容参考李航博士的《统计学习方法》书中是简化版本的变分EM算法推导,本章节进行完整的推导。1. 变分推理变分推理的思想如下:假设模型是联合概率分布p(x,z)p(x,z)p(x,z),其中xxx是观测变量,zzz是隐变量 ,原创 2020-06-11 14:39:59 · 2467 阅读 · 6 评论 -
机器学习之潜在狄利克雷分配(LDA)吉布斯抽样及python实现
LDALDA 是基于贝叶斯学习的话题模型,是文本集合的生成概率模型,其中假设文本的话题分布式的先验分布是狄利克雷分布,话题的单词分布的先验分布也是狄利克雷分布。LDA模型是含有隐变量的概率图模型。本章节使用吉布斯抽样方法,下一章节使用变分EM算法本章节内容参考李航博士的《统计学习方法》1.狄利克雷分布多项分布1)在多项式之前先说说两点分布(Bernoulli分布)两点分布就是指一次随机试验,比如随机扔硬币,结果只有两种0和1,ppp代表结果为正的概率:P(X=1)=p;P(X=0)=原创 2020-06-10 21:48:20 · 3108 阅读 · 1 评论 -
机器学习之随机森林(RF)及python实现
随机森林随机森林是集成学习分(Ensemble Learning)中的一种。随机森林主要体现在‘随机’和‘森林’上。0.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。原创 2020-06-04 10:36:50 · 3387 阅读 · 1 评论 -
机器学习之Adaboost原理及python实现
pass原创 2020-06-03 17:54:44 · 580 阅读 · 0 评论 -
机器学习之决策树原理及python实现
pass原创 2020-06-02 15:29:32 · 857 阅读 · 1 评论 -
机器学习之最大熵模型及python实现
pass原创 2020-06-01 10:34:18 · 2164 阅读 · 0 评论 -
机器学习之朴素贝叶斯原理及python实现
pass原创 2020-05-27 17:53:09 · 450 阅读 · 0 评论 -
机器学习之隐马尔科夫模型(HMM)原理及Python实现 (大章节)
隐马尔可夫模型(hidden Markov model, HMM)是可用于标注问题的统计学模型,是生成模型。1 从一个自然语言处理处理开始原创 2020-05-27 14:37:01 · 2069 阅读 · 3 评论 -
机器学习之Kmeans算法推导(EM算法)以及python实现
pass原创 2020-05-25 15:36:46 · 2047 阅读 · 0 评论 -
机器学习之高斯混合模型(GMM)及python实现
高斯混合模型高斯混合模型简介高斯混合模型是一种无监督聚类算法Kmeans VS GMM:Kmeans算法可以当作GMM算法的一种特殊形式,或者hard形式,比如一个样本在Kmeans算法中只能归属为其中的一类,但是在GMM算法中可以归为多类。1 高斯混合模型推导1.1 高斯混合模型定义:高斯混合模型是指具有如下形式的概率分布模型:p(y∣θ)=∑k=1Kαkϕ(y∣θk)(1) p(y|\theta) = \sum_{k=1}^K \alpha_k \phi(y|\theta_k) \ta原创 2020-05-21 18:49:27 · 12716 阅读 · 5 评论 -
机器学习之EM算法的原理及推导(三硬币模型)及Python实现
EM算法的简介EM算法由两步组成:E步和M步,是最常用的迭代算法。本文主要参考了李航博士的《统计学习方法》在此基础上主要依据EM算法原理补充了三硬币模型的推导。1.EM算法的原理1.1从一个例子开始三硬币模型假设有3枚硬币,分别记作A,B和C。 这些硬币正面向上的概率分别是 π,p\pi,pπ,p 和 qqq 。进行如下抛硬币试验:1、先抛硬币A, 根据其结果选出硬币B或者硬币C,正面选硬币B,反面选硬币C;2、然后掷选出的硬币,抛硬币的结果,出现正面记作1,出现反面记作0;3、独.原创 2020-05-20 16:37:52 · 3980 阅读 · 5 评论 -
机器学习之逻辑回归原理以及Python实现
逻辑回归逻辑回归和线型回归的比较:1.都是线型模型2.线型回归的y是连续型的,而逻辑回归是二分类的3.他们的参数空间都是一致的,信息都蕴含在了w和b中。1.逻辑回归的原理1.1 逻辑回归的背景知识由于逻辑回归的结果是分布在0-1区间,所以在线型回归的基础上做一个映射fff,即:f(x11w1+x12w2+x13w3+...+x1jwj+...+x1mwm+b)=y^1f( x_{11} w_1 + x_{12} w_2 + x_{13} w_3 + ... + x_{1j} w_原创 2020-05-19 15:28:24 · 468 阅读 · 1 评论 -
机器学习之线性回归原理与Python实现
线性回归线性回归研究自变量(X)和因变量(Y)之间的关系。其中自变量和因变量满足线性关系。本章节主要内容是线性回归的原理和实现。1.线性回归原理1.1一个例子开始设X和Y满足以下多元一次方程关系:x11∗w1+x12∗w2+x13∗w3+...+x1j∗wj+...+x1m∗wm+b=y^1 x_{11} * w_1 + x_{12} * w_2 + x_{13} * w_3 + ... + x_{1j} * w_j + ... + x_{1m} * w_m + b = \hat y_1原创 2020-05-19 09:35:55 · 602 阅读 · 0 评论