![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Zicon in广工
GDUTer,大三
展开
-
指数族分布
写在前面:本文只是对暂时学到的指数族分布的理论知识进行总结,至于指数族分布在实际机器学习中的具体应用,等后续学习到了再进行补充,也欢迎有经验的大佬赐教~文章将按照下面的思路进行:第一章首先给出指数族分布通用的 pdf 的表达式,简单介绍什么是充分统计量和对数配分函数;接着将一元高斯分布的 pdf 改写成指数族分布的通用形式,以加深对该 pdf 的理解;第二章通过两种方式推导指数族分布的 pdf 中充分统计量和对数配分函数的关系:一种是直接在 pdf 上进行推导,另一种是通过极大似然估计的方式进行.原创 2020-12-23 22:21:09 · 1769 阅读 · 0 评论 -
机器学习中的高斯分布
文章目录一、高斯分布的概率密度函数二、一元高斯分布的极大似然估计2.1 μMLE,σMLE\mu_{MLE},\sigma_{MLE}μMLE,σMLE 的求解2.2 验证 μMLE,σMLE\mu_{MLE},\sigma_{MLE}μMLE,σMLE 的无偏性三、多元高斯分布3.1 马氏距离3.2 (x−μ)TΣ−1(x−μ)(x-\mu)^T\Sigma^{-1}(x-\mu)(x−μ)TΣ−1(x−μ) 的求解3.3 实际应用过程的问题四、联合分布 -> 边缘分布 + 条件分布4.1原创 2020-12-22 11:35:56 · 1136 阅读 · 0 评论 -
变分自编码器(VAE)剖析
文章目录一、文章思路二、AE的局限性三、VAE的引入四、数学推导五、网络架构 + 代码实现六、参考资料本文以图像的重构为例对VAE进行梳理一、文章思路我们首先了解一下传统AE的不足之处:隐空间没有良好的“规则性”,因为神经网络是一个非线性变化的过程;接着我们试图引入噪声来解决传统AE的局限性,但只引入噪声的话,隐空间总得不到完全的覆盖,因此我们将encoder的点输出转换成分布输出;之后,一是为了避免重构误差过大,二是为了避免VAE退化成传统AE,我们引入KL Loss,以实现将分布逼近标准正态分原创 2020-12-08 11:35:13 · 1077 阅读 · 0 评论 -
手撕代码:梯度下降及其优化算法
文章目录一、batch梯度下降 VS mini-batch梯度下降二、mini-batch梯度下降三、测试:batch梯度下降四、测试:动量梯度下降五、测试:Adam梯度下降一、batch梯度下降 VS mini-batch梯度下降当数据量达百万级别时,即使采取向量化技术进行batch梯度下降,所需时间也比较久。此时可将数据集分成多批,每一个小批量的数据集则称为mini-batch。两者实现...原创 2020-02-03 20:36:53 · 480 阅读 · 0 评论 -
手撕代码:初始化、正则化和梯度检验
首先先给出绘制决策边界的函数:def plot_decison_boundary(model,X,y): x_min,x_max = X[0,:].min()-1 , X[0,:].max()+1 y_min,y_max = X[1,:].min()-1 , X[1,:].max()+1 h = 0.01 #meshgrid(a,b)将a纵向排列,将b横向排列,组...原创 2020-02-02 11:29:04 · 192 阅读 · 0 评论 -
手撕代码:从logistic回归到多层神经网络的构建
本文主要介绍从logistic回归到双层神经网络,再到多层神经网络的主要步骤的代码实现,篇幅有限,暂不涉及原理与公式推导:一、logistic回归logistic回归的过程如下所示(本文不再赘述):logistic回归的主要代码实现如下所示:正向传播:正向传播的公式如下:Z=WT⋅X+bZ=W^T·X+bZ=WT⋅X+b,其中Z.shape=1×m,W.shape=n×1...原创 2020-01-31 15:25:54 · 271 阅读 · 0 评论