- 博客(23)
- 收藏
- 关注
RSS订阅原创 机器学习之支持向量机(SVM)
支持向量机是一种二分类模型。有简至繁：线性可分支持向量机(linear support vector machine in linearly separate case),当训练数据线性可分时，可以通过硬间隔最大化，学习一个线性分类器。线性支持向量机(linear support vector machine)，当训练数据近似线性可分时，通过软间隔最大化，学习线性分类器。非线性支持向量机(non-linear support vector machine)，当训练数据不可分时，通过使用核技巧及软间.
2020-08-12 15:38:42
214
原创 深度学习之Skip-Gram和CBOW原理
Word2vec1. 独热编码热编码(one-hot recording)如果词典如下V=(apple,going,I,home,machine,learning)V = (apple, going, I, home, machine, learning)V=(apple,going,I,home,machine,learning)apple=(1,0,0,0,0,0)machine=(0,0,0,0,1,0)learning=(0,0,0,0,0,1)I,Going,Home=(0,1,1,
2020-06-23 15:28:30
821
原创 初探图卷积
图卷积1. 图卷积的介绍1.1 图卷积的数学背景知识介绍1.1.1 拉普拉斯矩阵1.拉普拉斯矩阵的定义无向图:G=(V,E,W),∣V∣=nG = (V, E, W), |V|=nG=(V,E,W),∣V∣=n其中，VVV代表所有节点的集合，EEE代表所有边的集合，WWW代表邻接矩阵且：W∈Rn∗nW \in R^{n*n}W∈Rn∗n其中WijW_{ij}Wij代表第iii个节点和第jjj个节点的权重，如果其值为0，说明两个节点不连接；度矩阵： D∈Rn∗n,Dii=∑jWijD \
2020-06-22 14:30:45
503
原创 深度学习之循环神经网络RNN及python实现
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。本文主要参考内容：https://blog.csdn.net/zhaojc1995/article/details/805720981. RNN下图是一个标准结构的RNN的前向传播过程其中xxx是输入，hhh是隐藏层单元，ooo为输出，LLL为损失函数，yyy是训练集的标签，ttt代表时刻状态，UUU是从输入到隐藏层的参数值，WWW是上一个隐藏层到当前隐藏层的参数值，VVV是隐藏层到输出层的参数值，U.
2020-06-18 18:12:23
3426
2
原创 深度学习之损失函数及python实现
损失函数深度学习中损失是用来衡量预测结果和真实结果的误差，从而能够反向传播更新整个网络参数。1. 均方误差(MSE)MSE(Mean Square Error)一般用于回归问题。其由在假设误差服从高斯分布的条件下得到，具体推导见机器学习之线性回归原理与Python实现.公式：l(ypred)=12(ypred−y)2 l(y_{pred}) = \frac {1} {2} (y_{pred} - y)^2l(ypred)=21(ypred−y)2其一阶级导数：∂l∂ypred=y
2020-06-16 10:10:32
4859
原创 深度学习之一个例子(BP算法，loss函数)以及python实现
一个多分类问题的实例1. 单个神经元的逻辑单个神经元的逻辑可以有如下图表示：其中Pre-activation是线性函数的到的，可以表示为：a(x)=∑i=1dwixi+b=wTx+ba(x) = \sum_{i=1}^d w_i x_i + b = \mathbf w^T \mathbf x + ba(x)=i=1∑dwixi+b=wTx+bPost-activation是激活函数：h(x)=g(a(x))=g(wTx+b)h(x) = g(a(x)) = g(\mathbf w^T \
2020-06-16 09:58:39
1400
原创 深度学习之优化器算法及python实现
opitimizers1. 优化器算法1.1 SGD 算法没有动量的SGD算法：θ←θ−lr∗g\theta \leftarrow \theta - lr * gθ←θ−lr∗g其中θ\thetaθ是参数，lrlrlr是学习率，ggg是梯度。有动量的SGD算法：v←α∗v+lr∗gv \leftarrow \alpha * v + lr * gv←α∗v+lr∗gθ←θ−v\theta \leftarrow \theta - vθ←θ−v其中vvv是速度。加入动量以后首先学习速率会增加，
2020-06-12 20:43:42
1059
1
原创 深度学习之激活函数及python实现
激活函数如果没有激活函数引入非线性，多层神经网络就相当于单层神经网络，非线性激活函数可以使得神经网络逼近任意复杂的函数。1. Sigmoid函数1.1 Sigmoid函数解析式Sigmoid函数：f(x)=11+e−xf(x) = \frac {1} {1 + e^{-x}}f(x)=1+e−x1Sigmoid函数一阶导数：f′(x)=(11+e−x)′=−1(1+e−x)2(1+e−x)′=11+e−xe−x1+e−x=f∗(1−f)\begin{aligned}f'(x) &a
2020-06-12 11:03:20
675
原创 机器学习之潜在狄利克雷分配(LDA)变分EM算法及python实现
LDA变分EM算法变分推理(variational inference)是贝叶斯学习中常用的，含有隐变量模型的学习方法。变分推理和上一章节的吉布斯采样不同，吉布斯采样的算法通过随机抽样的方法近似计算模型的后验概率，而变分推理通过解析的方法计算模型的后验概率的近似值。本章节内容参考李航博士的《统计学习方法》书中是简化版本的变分EM算法推导，本章节进行完整的推导。1. 变分推理变分推理的思想如下：假设模型是联合概率分布p(x,z)p(x,z)p(x,z)，其中xxx是观测变量，zzz是隐变量 ，
2020-06-11 14:39:59
2479
6
原创 机器学习之潜在狄利克雷分配(LDA)吉布斯抽样及python实现
LDALDA 是基于贝叶斯学习的话题模型，是文本集合的生成概率模型，其中假设文本的话题分布式的先验分布是狄利克雷分布，话题的单词分布的先验分布也是狄利克雷分布。LDA模型是含有隐变量的概率图模型。本章节使用吉布斯抽样方法，下一章节使用变分EM算法本章节内容参考李航博士的《统计学习方法》1.狄利克雷分布多项分布1）在多项式之前先说说两点分布（Bernoulli分布）两点分布就是指一次随机试验，比如随机扔硬币，结果只有两种0和1，ppp代表结果为正的概率:P(X=1)=p;P(X=0)=
2020-06-10 21:48:20
3115
1
原创 机器学习之随机森林(RF)及python实现
随机森林随机森林是集成学习分(Ensemble Learning)中的一种。随机森林主要体现在‘随机’和‘森林’上。0.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.。。。。。。。。。。。。。。。。。。。。。。。。。。
2020-06-04 10:36:50
3399
1
原创 机器学习之隐马尔科夫模型(HMM)原理及Python实现 (大章节)
隐马尔可夫模型（hidden Markov model, HMM）是可用于标注问题的统计学模型，是生成模型。1 从一个自然语言处理处理开始
2020-05-27 14:37:01
2069
3
原创 机器学习之高斯混合模型(GMM)及python实现
高斯混合模型高斯混合模型简介高斯混合模型是一种无监督聚类算法Kmeans VS GMM：Kmeans算法可以当作GMM算法的一种特殊形式，或者hard形式，比如一个样本在Kmeans算法中只能归属为其中的一类，但是在GMM算法中可以归为多类。1 高斯混合模型推导1.1 高斯混合模型定义：高斯混合模型是指具有如下形式的概率分布模型：p(y∣θ)=∑k=1Kαkϕ(y∣θk)(1) p(y|\theta) = \sum_{k=1}^K \alpha_k \phi(y|\theta_k) \ta
2020-05-21 18:49:27
12792
5
原创 机器学习之EM算法的原理及推导(三硬币模型)及Python实现
EM算法的简介EM算法由两步组成：E步和M步，是最常用的迭代算法。本文主要参考了李航博士的《统计学习方法》在此基础上主要依据EM算法原理补充了三硬币模型的推导。1.EM算法的原理1.1从一个例子开始三硬币模型假设有3枚硬币，分别记作A，B和C。 这些硬币正面向上的概率分别是 π,p\pi,pπ,p 和 qqq 。进行如下抛硬币试验：1、先抛硬币A, 根据其结果选出硬币B或者硬币C，正面选硬币B，反面选硬币C；2、然后掷选出的硬币，抛硬币的结果，出现正面记作1，出现反面记作0；3、独.
2020-05-20 16:37:52
3990
5
原创 机器学习之逻辑回归原理以及Python实现
逻辑回归逻辑回归和线型回归的比较：1.都是线型模型2.线型回归的y是连续型的，而逻辑回归是二分类的3.他们的参数空间都是一致的，信息都蕴含在了w和b中。1.逻辑回归的原理1.1 逻辑回归的背景知识由于逻辑回归的结果是分布在0-1区间，所以在线型回归的基础上做一个映射fff，即：f(x11w1+x12w2+x13w3+...+x1jwj+...+x1mwm+b)=y^1f( x_{11} w_1 + x_{12} w_2 + x_{13} w_3 + ... + x_{1j} w_
2020-05-19 15:28:24
472
1
原创 机器学习之线性回归原理与Python实现
线性回归线性回归研究自变量（X）和因变量（Y）之间的关系。其中自变量和因变量满足线性关系。本章节主要内容是线性回归的原理和实现。1.线性回归原理1.1一个例子开始设X和Y满足以下多元一次方程关系：x11∗w1+x12∗w2+x13∗w3+...+x1j∗wj+...+x1m∗wm+b=y^1 x_{11} * w_1 + x_{12} * w_2 + x_{13} * w_3 + ... + x_{1j} * w_j + ... + x_{1m} * w_m + b = \hat y_1
2020-05-19 09:35:55
604
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人