神经网络随笔

一、卷积神经网络

1、相关知识点

相似度=过滤器S的灰色格子和扫描图像块的灰色格子吻合地方的个数

S=过滤器=核(kernal)   学习数据的正解=所用的数据正确、真实的标注或结果     隐藏层：负责特征提取

input：5个神经单元    隐藏层：4个神经单元  output:2个神经单元、  

a=激活函数   b=偏置   值大则神经元不易兴奋

神经元：

                             

n=输入个数  c=常数  x=变量

导数：(c)'=0      (x)'=1     {f(x)+g(x)}'=f'(x)+g'(x)

梯度：

2、卷积神经网络流程

a.图像2为考察的图像

b.考察图像根据过滤器S，得到一下结果

c.

d.通过池化进行信息的压缩

3、

4、梯度下降法

5、反向传播

a.相关知识点

a.1     前向传播：将训练集数据输入到ANN的输入层，经过隐藏层，最后到达输出层并输出结 果。输入层—隐藏层–输出层】

反向传播：由于ANN的输入结果与输出结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层。【输出层–隐藏层–输入层】

反向传播：第三个人得知自己说的和真实答案之间的误差后，发现他们在传递时的问题差在哪里，向前面一个人说下次描述的时候怎样可以更加准确的传递信息。就这样一直向前一个人告知。

W:权重    X：输入   H:隐藏层

a.2 反向传播过程

a.3  Tensor

可以存储data、grad

6、Pytorch实现线性回归

6.1基本步骤

6.1.1准备数据集     然后设计模型 (计算y^)      然后构造损失函数和优化器    写训练周期

6.1.2流程

6.1.2.1知X、Y^，可求w、b

6.1.2.2 loss要为标量，然后才可以backword

6.2

*args用法

**kwargs用法

7、logistic

7.1

7.2BCE(二分类损失)

注意：预测与标签越接近，BCE损失越小。

8、处理多维特征的输入

8.1 Logistic Regression 

10、多分类问题

10.1 softmax(激活函数用于多分类):可以把输入映射为0-1之间的实数，且归一化和为1，故概率和为1

10.2 多通道处理：W×H×C转为C×W×H

10.3 ToTensor的作用：压缩0-1、成一列

10.4Normalize的作用：mean(均值)、std(标准差)

10.5 view(-1,784)：-1即自动计算数值，例28×28

10.6CrossEntropyLoss(交叉熵损失)：

10.7 no_grad():不更新梯度

11、卷积神经网络

11.1CNN

11.1.1 B、n、w、H

11.1.2 kernel卷积后输出图像的大小

 

11.1.3卷积核的输出

11.1.4卷积神经网络及对应代码

11.2 Advanced CNN

11.2.1减少代码冗余

11.2.2块内详解

块内有不同的卷积层，从而选出最合适的卷积，块中各卷积只有通道数(C)不一样，b w h都一样

11.2.3块之间拼接

B C W H分别对应0维、1维、2维、3维

七、训练

1、训练相关知识点

a.梯度

b.梯度下降

b.1随机梯度下降

c.损失函数

c.1   cost(损失函数)曲线分析

    c.1.1