深度学习笔记

sigmoid：
sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。Sigmoid函数由下公式定义：

激活函数：
所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。
如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。
如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

Context：
所谓的上下文就是指语境，每一段程序都有很多的外部变量。只有想Add这种简单的函数才是没有外部变量的。一旦写的一段程序中有了外部变量，这段程序就是不完整的，不能独立运行，要想让他运行，就必须把所有的外部变量的值一个一个的全部传进去，这些值的集合就叫上下文。

感知机：
https://www.jianshu.com/p/81fa7682daf3

卷积神经网络：
https://blog.csdn.net/liangchunjiang/article/details/79030681
https://blog.csdn.net/bestrivern/article/details/89525816 全连接层

交叉熵损失函数：
https://blog.csdn.net/weixin_37567451/article/details/80895309

softmax：
https://blog.csdn.net/lz_peter/article/details/84574716

正则化的L2范数：
https://blog.csdn.net/u010725283/article/details/79212762

tensor的含义；torch.Tensor和torch.tensor有什么区别？
https://blog.csdn.net/kanghe2000/article/details/78572873
https://blog.csdn.net/Edisonleeee/article/details/90171442

Epoch, Batch, Iteration
https://blog.csdn.net/xiaohuihui1994/article/details/80624593

CNN编程中的问题——img.shape[0]、[1]、[2]
https://blog.csdn.net/weixin_43154228/article/details/86703432

特征向量相似度和距离的计算
https://blog.csdn.net/Sunshine_in_Moon/article/details/50014469
https://wenku.baidu.com/view/3da98708876fb84ae45c3b3567ec102de2bddfaa.html

Skip-Gram模型理解
https://www.jianshu.com/p/da235893e4a5

随机梯度下降
https://blog.csdn.net/qq_38150441/article/details/80533891

linear层的初始化
https://www.cnblogs.com/tay007/p/10337395.html