![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 64
jayvee_
互联网是有记忆的。
展开
-
Epoch、Batch_Size、Iterations
# Training cyclefor epoch in range(training_epochs): # Loop over all batches for i in range(total_batch): ...外层表示训练周期、内层对batch进行迭代EpochDefiniton:One forward pass and one backward pass of all the training examples. 即所有的样本都参与了训练,称为一个Epoch。Batch-S原创 2022-01-15 14:52:39 · 308 阅读 · 0 评论 -
LSTM: SimpleRNN的改进
LSTM 模型是对SimpleRNN的改进,LSTM可以避免梯度消失的问题,可以有更长的记忆。LSTM中最重要的设计就是传输带传输带(Conveyor belt)CtC_tCt:过去的信息通过传输带直接送到下一时刻,不会发生太大的变化。LSTM就是通过传输带避免了梯度消失的问题。LSTM中的Gate:可以让信息有选择的通过。Forget Gate遗忘门由sigmoid函数和单元乘法两部分组成1、输入向量a通过sigmoid函数作用得到输出向量f2、接着计算传输向量 c 和 f.原创 2021-11-25 20:48:57 · 2244 阅读 · 1 评论 -
Simple RNN 模型
How to model sequential data?Sequential data: 文本、语音等one to one 模型一个输入对应一个输出。例如输入一张图片,输出每一类的概率值。全连接网络和卷积神经网络都是One to One Model。Limitations of FC Nets and ConvNets:把处理一段文本作为整体固定长度的输入,例如图片固定长度的输出,例如概率值RNNs对于文本问题,一句话可长可短,所以其输入输出并不固定,因此one to on原创 2021-11-25 16:50:25 · 2331 阅读 · 0 评论 -
动手学深度学习-线性回归
线性模型给定nnn维输入x=[x1,x2,...,xn]Tx = [x_1,x_2,...,x_n]^Tx=[x1,x2,...,xn]T线性模型有一个n维权重和一个标量偏差w=[w1,...,wn]T,bw = [w_1,...,w_n]^T, bw=[w1,...,wn]T,b输出是输入的加权和y=∑i=1nwixi+by=\sum_{i=1}^nw_ix_i+by=∑i=1nwixi+b向量版本:y=<w,x>+by=<w, x> + by=<原创 2021-10-22 00:02:17 · 134 阅读 · 0 评论