![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 83
深度神经网络与深度生成模型
整得咔咔响
再难,我也想和你一起学算法!!!
展开
-
指数族分布
1.指数族分布是一类分布,包括高斯分布、伯努利分布、泊松分布等2.指数族分布主要包含三个参数:自然参数,充分统计量和对数配分函数3.对数配分函数一阶导等于充分统计量的期望,二阶导等于充分...原创 2021-01-22 22:30:00 · 5481 阅读 · 0 评论 -
从机器学习到深度学习(ML—DL)
1.统计机器学习常用的四种方法:正则化、核化、集成化和层次化2.深度神经网络包括多层感知机、卷积神经网络和循环神经网络等3.深度生成网络包括深度有向网络、深度信念网络和深度波尔茨曼机4....原创 2021-01-23 19:30:00 · 986 阅读 · 0 评论 -
多层感知机(MLP)
1.多层感知机(MLP)是深度神经网络(DNN)的基础算法,有时候提起DNN就是指MLP2.感知机跟SVM优化的目标一致,损失函数不同(前者分母限制为1,后者分子限制为1)3.神经网络由...原创 2021-01-26 22:00:00 · 22165 阅读 · 1 评论 -
DNN的损失函数与激活函数
1.均方误差与Sigmoid函数组合的DNN带来的问题是W,b更新速度慢2.使用交叉熵损失得到的梯度不包含激活函数的导数σ’(z)3.softmax与负对数似然组合应用在多分类模型里面4...原创 2021-01-28 00:00:00 · 442 阅读 · 0 评论 -
卷积神经网络(CNN)
1.卷积神经网络是在DNN基础上加上卷积层和池化层2.卷积层是对输入的不同局部的矩阵和卷积核矩阵相同位置做相乘后求和3.卷积层有输入矩阵、卷积核、步幅S和圈数P四个参数4.除了标准卷积,...原创 2021-01-29 23:00:00 · 944 阅读 · 0 评论 -
循环神经网络(RNN)
1.循环神经网络用于解决连续且长短不一的序列样本2.RNN是一种时间序列模型,模型三个线性关系矩阵共享,体现“循环”思想3.LSTM是RNN的一个特例,用于解决RNN梯度爆炸和梯度消失的...原创 2021-01-30 12:00:00 · 1314 阅读 · 0 评论 -
直面配分函数(Confronting Partition Function)
1.数学建模的目标是使得经验分布无穷接近于真实分布2.从真实分布采样的期望称为正相,从模型分布采样的期望称为负相3.利用极大似然估计推出的参数估计公式是最小化KL散度,称为ML-learn...原创 2021-02-03 23:00:00 · 848 阅读 · 4 评论 -
RBM的Learning问题
1.受限波尔茨曼机的learning问题利用了CD-k算法2.它对每个观测样本进行一次Gibbs采样,在k-step得到采样样本3.最终得到跟训练集样本数大小的的M个采样样本,然后执行梯度...原创 2021-02-06 00:00:00 · 254 阅读 · 0 评论 -
Sigmoid信念网络(SBN)
1.Sigmoid信念网络是一种有向图模型2.SBN它可以逼近任意二值分布函数,还可以进行采样3.求解SBN可以用梯度法,要利用MC近似梯度4.醒眠算法也是求解SBN的一种算法,它是一种不...原创 2021-02-24 22:30:00 · 2721 阅读 · 0 评论 -
深度信念网络(DBN)
1.深度信念网络(DBN)是RBM与SBN的混合模型,可以看成叠加的RBM2.增加层数可以使得RBM模型变得更好的原因是对先验P(h)建模,使得ELBO增大3.采取贪心逐层训练方法学习DB...原创 2021-03-02 21:15:07 · 11304 阅读 · 2 评论