DIVE INTO DEEP LEARNING学习笔记1

闲着没事写一下读书笔记

第一章：引言

第二章：预备知识

第三章：线性神经网络

       用线性代数表示法进行建模。在建模的过程中，我们需要一种模型质量的度量方式和一种能够更新模型以提高模型质量的方法。其中，前者为损失函数，后者为随机梯度下降。在训练模型中，我们能通过矢量化加速来达到同时处理小批量样本的目的。矢量化代码能够带来数量级的加速。同时，也通过简洁代码提高了准确率。在高斯噪声的假设下，最小化均方误差等价于对线性模型的极大似然估计（即最小目标函数和执行极大似然估计等价）。线性回归模型也是一个简单的神经网络，是单层网络结构，这一单层被称为全连接层。小批量随机梯度下降算法是一种优化神经网络的标准工具。

        softmax回归也是一个单层网络，是一个线性模型。它获取一个向量并将其映射为概率。softmax回归适用于分类问题，它使用了softmax运算中输出类别的概率分布。

        熵：数据的不确定性。

        信息熵：系统有序化的一个度量。系统越混乱，信息熵越低；系统越有序，信息熵越高。

        交叉熵：一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。

        数据迭代器是获得更高性能的关键组件。依靠实现良好的数据迭代器，利用高性能计算来避免减慢训练过程。

        训练softmax回归循环模型与训练线性回归模型非常相似：先读取数据，再定义模型和损失函数，然后使用优化算法训练模型。