![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
藤方拓海
卷心菜
展开
-
神经网络基础(1980-1995)
三、神经网络(1980-1995) 文章目录三、神经网络(1980-1995)3.1 神经元与神经网络:通过学习算法得到神经网络解决问题所需的参数。(W,b)3.2 激活函数:加入非线性因素,解决线性模型所不能解决的问题3.2.1 Sigmoid:将输入变量映射到(0,1)区间3.2.2 Tanh:将输入变量映射到(-1,1)区间3.2.3 Hard Tanh:给定阈值直接将输入变量映射到(-1,1)区间3.2.4 ReLu:大于0的数原样输出,小于0的数输出03.2.5 Softmax:将k维向量每一个元原创 2020-11-11 15:42:05 · 157 阅读 · 0 评论 -
深度神经网络基础(2006)
四、深度神经网络(2006) 深度学习:可以有多个隐含层,包括深度神经网络、卷积神经网络、循环神经网络、LSTM及强化学习等。 4.1 深度神经网络 梯度爆炸和梯度消失问题: 原因是网络层数太深,梯度反向传播中的连乘效应。 4.2 梯度下降 4.2.1 随机梯度下降:每次只随机选择一个样本来更新模型参数 优点: 学习速度快。 缺点: 每次更新不会按照梯度下降最快的方向进行,收敛速度慢。 批量梯度下降:每次使用整个数据集训练 优点: 每次更新会朝着正确的方向进行,收敛速度快,迭代次数少。 缺点: 每次更新需要原创 2020-11-11 14:51:04 · 153 阅读 · 0 评论