深度学习笔记1

1、神经网络中可能涉及到的知识

神经网络中的输入层、隐藏层、输出层、权重与偏置、激活函数、损失函数、前向传播、反向传播、权值更新、梯度下降、微积分中的链式求导、方向梯度等概念

 

2、写一个神经网络，通常的方法是：

• 定义网络结构（指定输出层、隐藏层、输出层的大小）
• 初始化模型参数
• 循环操作：执行前向传播/计算损失/执行后向传播/权值更新

 

3、跟随网址【1】的知乎博主的指引，写一个感知神经网络

 

4、np.dot(a,b)

如果a,b中有一个是数值，相当于计算a*b

如果a,b是两个矩阵，相当于计算矩阵内积

 

5、内积和外积

一个行向量乘以一个列向量称作向量的内积，又叫作点积，结果是一个数；

一个列向量乘以一个行向量称作向量的外积，外积是一种特殊的克罗内克积，结果是一个矩阵。

外积在不同的地方定义方式不太一样。

 

6、np.squeeze(a)

删除数组形状中的单维度条目，即把shape中为1的维度去掉，但是对非单维的维度不起作用【2】。

 

 

 

 

 

参考资料及网站

【1】https://zhuanlan.zhihu.com/p/39598080

【2】https://blog.csdn.net/zenghaitao0128/article/details/78512715