pytorch 深度学习的一些小笔记

一个比赛案例：Quick, Draw! Doodle Recognition Challenge 总结 | TangShusen

• softmax回归适用于分类问题。它使用softmax运算输出类别的概率分布。
• softmax回归是一个单层神经网络，输出个数等于分类问题中的类别个数。
• 交叉熵适合衡量两个概率分布的差异。

# gather在one-hot为输出的多分类问题中，可以把最大值坐标作为index传进去，然后提取到每一行的正确预测结果，这也是gather可能的一个作用。
# 传入数据 dim 以及索引 获取对应的数据 

y_hat.argmax(dim=1)返回矩阵y_hat每行中最大元素的索引，且返回结果与变量y形状相同

TensorFlow 是一种非常强大和成熟的深度学习库，具有很强的可视化功能和多个用于高级模型开发的选项。它有面向生产部署的选项，并且支持移动平台。另一方面，PyTorch 框架还很年轻，拥有更强的社区动员，而且它对 Python 友好。

我的建议是如果你想更快速地开发和构建 AI 相关产品，TensorFlow 是很好的选择。建议研究型开发者使用 PyTorch，因为它支持快速和动态的训练。

激活函数

 1.

 2.

3.

接下来，我们将探究模型训练中经常出现的两类典型问题：一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。

• 正则化通过为模型损失函数添加惩罚项使学出的模型