目录
计算图的引入为了更方便表示网络
现实生活存在很多序列化结构,需要建立更优秀的序列数据模型
文本、语音、视频、时态数据
RNN
RNN一般结构
x_t表示T时刻的输入,s_T表示记忆,O_t表示输出,U V W 是RNN网络的连接权重,b_s和b_o是RNN的偏置,
LSTM(长短时记忆网络)
一个LSTM单元由输入门、输出门、遗忘门组成,三个门控制信息进出单元
遗忘门 对细胞状态信息遗忘程度的控制,输出当前状态的遗忘权重,
输入门--实现细胞状态输入接受程度的控制,输出当前信息接受权重
输出门--实现对细胞i状态输出认可程度的控制,输出当前输出信息的认可权重
还有许多东西需要时间消化,后续继续补
参考链接
https://github.com/datawhalechina/unusual-deep-learning/blob/main/docs/5.CNN.md