《深度学习的数学》笔记【各种概念】

最新推荐文章于 2023-11-07 14:02:51 发布

Dontla

最新推荐文章于 2023-11-07 14:02:51 发布

阅读量695

点赞数

分类专栏：《深度学习的数学》

本文链接：https://blog.csdn.net/Dontla/article/details/105947032

版权

《深度学习的数学》专栏收录该内容

13 篇文章 6 订阅

订阅专栏

文章目录

第一章神经网络的思想

1-1 神经网络和深度学习

神经元的“点火”、

1-2 神经元工作的数学表示

神经元固有边界值（阈值）、神经元信号传递（点火）、权重

1-3 激活函数：将神经元的工作一般化

神经单元（unit）、激活函数（activation function）、sigmoid函数、单位阶跃函数、线性整流函数（relu）、偏置（bias）

1-4 什么是神经网络

神经网络、阶层型神经网络（BP神经网络 back propagation）、卷积神经网络、层（layer）、输入层、隐藏层（中间层）、输出层、全连接层（fully connected layer 指前一层的神经单元与下一层的所有神经单元都有箭头连接）

1-5 用恶魔来讲解神经网络的结构

隐藏层肩负着特征提取（feature extraction）的重要职责

1-6 将恶魔的工作翻译成神经网络的语言

1-7 网络自学习的神经网络

网络自学习算法、学习数据、学习、模型的最优化（确定使得误差总和达到最小的权重和偏置）、代价函数（预测值与正解的误差的平方的总和）、最小二乘法、回归分析、

第二章神经网络的数学基础

2-1 神经网络所需的函数

一次函数、斜率、截距、一次函数关系、误差反向传播法、函数、自变量、因变量、二次函数、最小二乘法、单位阶跃函数、指数函数（底数、纳皮尔数e）、正态分布（期望值、平均值、标准差）、标注正态分布、正态分布随机数（在神经网络的计算中，经常用到正态分布随机数作为初始值）

2-2 有助于理解神经网络的数列和递推关系式

计算机不擅长导数计算，但擅长处理递推关系式、数列（项、首项、有穷数列、末项、通项公式、递归定义、递推关系式）、联立递推关系式

2-3 神经网络中经常用到的Σ符号

2-4 有助于理解神经网络的向量基础

有向线段（起点、终点）、向量（位置、方向、大小）、向量是具有大小和方向的量，用箭头表示、向量的坐标表示、内积、梯度下降法、卷积神经网络、通过内积可以知道两个向量的相对的相似度、张量tensor、应力张量

2-5 有助于理解神经网络的矩阵基础

矩阵（行、列、方阵、行向量、列向量、向量、元素、单位矩阵、矩阵的和、矩阵的差、矩阵的常数倍、矩阵的乘积、Hadamard乘积、转置矩阵）

2-6 神经网络的导数基础

导函数、求导、可导、导数的线性性（和的导数为导数的和，常数倍的导数为导数的常数倍）、增减表、Sigmoid函数及其导数（ $\sigma \left( x \left) =\frac{{1}}{{1+e\mathop{{}}\nolimits^{{-x}}}}\right. \right. }$ 、 $\sigma \mathop{{}}\nolimits^{{\text{'}}} \left( x \left) =\right. \right. } \sigma \left( x \left) \left( 1- \sigma \left( x \left) \right) \right. \right. \right. \right. }$ ）