![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 73
然后就去远行吧
我们的目标是星辰大海~
展开
-
强化学习 —— 广义优势估计GAE
GAE的原理是将这些不同步数的优势估计进行指数加权平均,这里先通过简单的例子介绍一下指数加权平均。趋向于1时,GAE会考虑更多步差分的平均值。下面是一段GAE的实现代码,给定折扣系数。即只看到一步差分得到的优势值,当。简单解释一下上面的公式,根据。可以通过类似的方法推导得到。是在GAE中引入的超参数。表示时序差分误差,公式中的。将上面公式进行转换可以得到。表示可调节的超参数值。原创 2023-08-06 18:15:10 · 1296 阅读 · 0 评论 -
tensorflow实现强化学习DDPG算法
基于tf1.x和tf2.x简单实现强化学习ddpg算法,在gym中验证算法可行性原创 2022-08-03 10:56:03 · 1470 阅读 · 6 评论 -
调用gensim库训练word2vec词向量
首先准备符合规定输入的语料:import jiebaraw_text = [ "你站在桥上看风景", "看风景的人在楼上看你", "明月装饰了你的窗子", "你装饰了别人的梦"]texts = [[word for word in jieba.cut(text,cut_all=True)] for text in raw_text]经过运算,得到语料的输入格式如下所示:[['你', '站', '在', '桥上', '看', '风景'], ['看', '风景', '的', '人', '在原创 2020-08-29 02:23:48 · 844 阅读 · 0 评论 -
机器学习中的alpha学习率参数
首先看一个简单的梯度下降的例子:weight = 0.5goal_pred = 0.8input = 0.5for iteration in range(20): pred = input * weight error = (pred - goal_pred) ** 2 delta = pred - goal_pred weight_delta = delta * input weight = weight - weight_delta p原创 2020-08-20 21:20:36 · 5643 阅读 · 0 评论 -
在机器学习中为什么只需要正的误差而不用负的误差
如果我们使用数百万对input->goal_prediction(输入->预测目标)来进行训练,在此基础上,我们仍然希望能够做出准确的预测。因此,我们希望可以将数百万对数据的平均误差降为0。如果误差可以是正的,也可以是负的,那么会出现问题。想象一下,如果想要使神经网络正确预测量两个数据点——也就是两对input->goal_prediction(输入->预测目标)。如果第一个预测的误差是1000,而第二个产生的误差是-1000,那么平均误差将为0!在这种情况下,我们会自欺欺人地认原创 2020-08-20 20:20:04 · 429 阅读 · 0 评论 -
优化在深度学习中的挑战
1. 优化在深度学习中的挑战我们在博客《机器学习中解析解和数值解的区别》中对优化问题的解析解和数值解做了区分。深度学习中绝大多数目标函数都很复杂。因此,很多优化问题并不存在解析解,而需要使用基于数值方法的优化算法找到近似解,即数值解。这里讨论的优化算法都是这类基于数值方法的算法。为了求得最小化目标函数的数值解,我们将通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。优化在深度学习中有很...原创 2020-02-22 03:16:33 · 559 阅读 · 0 评论 -
神经网络为什么需要随机初始化模型参数
在神经网络中,通常需要随机初始化模型参数。下面解释一下这样做的原因。设有一个多层感知机模型,假设输出层只保留一个输出单元o1o_1o1,且隐藏层使用相同的激活函数。如果将每个隐藏单元的参数都初始化为相等的值,那么在正向传播时每个隐藏单元将根据相同的输入计算出相同的值,并传递至输出层。在反向传播中,每个隐藏单元的参数梯度值相等。因此,这些参数在使用基于梯度的优化算法迭代后值依然相等。之后的迭代...原创 2020-02-18 16:39:06 · 2930 阅读 · 0 评论 -
Tanh函数求导过程
https://blog.csdn.net/qq_35200479/article/details/84502844原创 2020-02-18 14:18:23 · 4619 阅读 · 0 评论 -
神经网络为什么需要激活函数
给定一个只含有一层隐藏层的感知机模型,给定一个小批量样本X∈Rn×dX\in\mathbb{R}^{n\times d}X∈Rn×d,其批量大小为n,输入个数为d。感知机隐藏单元个数为h。记隐藏层的输出(也称为隐藏层变量或隐藏变量)为H,有H∈Rn×hH\in\mathbb{R}^{n\times h}H∈Rn×h。因为隐藏层和输出层均是全连接层,可以设隐藏层的权重参数和偏差参数分别为Wh∈Rd×...原创 2020-02-18 13:26:38 · 351 阅读 · 0 评论 -
softmax运算
一、softmax运算分类问题需要得到离散的预测输出,一个简单的办法是将输出值oio_ioi当做预测类别是i的置信度,并将值最大的输出所对应的类作为预测输出,即输出argmaxioiargmax_io_iargmaxioi。例如,如果o1,o2,o3o_1,o_2,o_3o1,o2,o3分别为0.1,10,0.1,由于o2o_2o2最大,那么预测类别为2。然而,直接使用输出层的输...原创 2020-02-18 13:00:00 · 1224 阅读 · 0 评论 -
深度模型中的梯度消失和梯度爆炸
当神经网络的层数较多时,模型的数值稳定性容易变差。假设一个层数为L的多层感知机的第lll层H(l)H^{(l)}H(l)的权重参数为W(l)W^{(l)}W(l),输出层H(L)H^{(L)}H(L)的权重参数为W(L)W^{(L)}W(L)。为了便于讨论,不考虑偏差参数,且设所有隐藏层的激活函数为恒等映射ϕ(x)=x\phi(x)=xϕ(x)=x。给定输入XXX,多层感知机的第lll层的输出H(...原创 2020-01-08 18:09:57 · 410 阅读 · 0 评论 -
《Deep Learning》—— 数学基础
数学基础1. 矩阵对角化,SVD分解以及应用实用性质:A∗(B+C)=A∗B+A∗CA*(B+C)=A*B+A*CA∗(B+C)=A∗B+A∗C(分配率)A∗(B∗C)=(A∗B)∗CA*(B*C)=(A*B)*CA∗(B∗C)=(A∗B)∗C(结合律)A∗B≠B∗AA*B \neq B*AA∗B=B∗A(一般不满足交换律)(A∗B)T=BT∗AT(A*B)^T=B^T*A^T(...原创 2019-11-04 00:16:28 · 424 阅读 · 0 评论