最近在学习神经网络的知识。方便记忆写了学习笔记。
关于神经网络
关键词： 激活函数，分类，训练
神经网络的本质是用来分类的，由输入，网络，输出三部分组成
输入的信号、图像、语言，通过训练好的神经网络，输出结果
和人类大脑的经验分析很像。见识过的东西，下次遇到就明白和认识了。
这里面的核心是神经元，也就是激活函数。
分类是通过激活函数进行的 ，常用的激活函数是ReLu函数 = max （x,0）
通过输入喂数据，求出函数最佳参数的过程，就是训练。
训练一般是按照梯度下降来完成的。
CNN ： 卷积神经网络
什么是卷积？ 我的理解，卷积就是一种运算，通过这个运算，能得到数据的特征。比如对时域信号做卷积，得到频域的特征的傅里叶变换。
卷积神经网络的卷积也是运算，是指用卷积核和九宫格数据相乘，通过去掉或者弱化非特征数据，来实现特征提取。
通过卷积，池化，全连接，卷积神经网络完成最后输出。
比如一只猫，可以做多次卷积提取，花纹特征，颜色特征，身形特征，池化做平均后，全连接到一起，得到这个猫的全部特征。
RNN：循环神经网络
通过增加时间参数，来获得之前的结果，就是RNN。
RNN的特点是资源消耗稳定，RWKV就是采用的RNN+Transformer架构。
RNN当前时刻的输出的计算，会使用到上个时刻的隐藏状态
LSTM 长短期记忆网络
LSTM是通过对RNN改进来实现的，通过Ct ，像日记本一样记录之前的重要特征和状态，删除不重要数据，来保持长期记忆
具体算法如下:
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
