datawale ML 入门学习 day3 学习笔记

 学习笔记：《深度学习详解》第二章——实践方法论

 1. 模型偏差

- 是什么: 模型偏差指的是模型因为过于简单而无法准确表示数据的情况。例如，模型的函数集合太小，导致找不到一个能够让损失足够低的函数。

- 为什么这样用: 当模型的灵活性不足时，可能会导致模型在训练集上的表现不佳，即使是最优参数也不能降低损失。

- 这样做的意义: 通过增加模型的灵活性（如增加特征或采用深度学习），可以减小模型偏差，提高模型在训练数据上的表现。

- 具体怎么做: 设计更复杂的模型，增加输入特征或使用深度学习方法来增强模型的灵活性。

 2. 优化问题

- 是什么: 优化问题主要涉及如何通过梯度下降法找到损失较低的参数，但在实践中可能会遇到局部最小值等问题，导致模型未能找到全局最优解。

- 为什么这样用: 了解优化问题可以帮助我们辨别是模型偏差还是优化问题在影响训练结果。

- 这样做的意义: 通过选择合适的优化方法（如不同的网络结构或优化算法），可以更有效地降低损失，提高模型性能。

- 具体怎么做: 使用浅层模型或更简单的非深度学习模型，观察它们的表现，以此判断问题的根源。

 3. 过拟合

- 是什么: 过拟合指的是模型在训练集上表现很好，但在测试集上表现不佳的情况，通常由于模型过于复杂，捕捉到了训练数据中的噪音。

- 为什么这样用: 通过识别过拟合现象，可以调整模型复杂度，使其在测试数据上表现更稳健。

- 这样做的意义: 减少过拟合可以提高模型的泛化能力，使其在实际应用中更有效。

- 具体怎么做: 通过增加训练数据、使用数据增强技术或给模型增加限制来防止过拟合。

 4. 交叉验证

- 是什么: 交叉验证是一种将数据集划分为多个部分，轮流作为训练集和验证集的方法，用于评估模型的表现。

- 为什么这样用: 交叉验证可以提供更可靠的模型评估，避免模型对单一验证集的过拟合。

- 这样做的意义: 提高模型选择的准确性，确保最终选择的模型在未知数据上也能表现良好。

- 具体怎么做: 使用k折交叉验证，将数据集分成k个部分，分别训练和验证，最后平均多个模型的结果。

 5. 不匹配

- 是什么: 不匹配指的是训练集和测试集的分布不同，导致模型在测试集上的表现不佳的问题。

- 为什么这样用: 识别和解决不匹配问题可以确保模型在不同数据分布下都有良好的表现。

- 这样做的意义: 增强模型的稳健性，使其在实际应用中的表现更加一致和可靠。

- 具体怎么做: 通过理解数据的产生方式，调整训练和测试数据的划分策略，减少不匹配的影响。

 总结

本章详细介绍了在应用深度学习时，如何通过调整模型结构、优化方法、数据划分等手段来提高模型的性能。理解这些实践方法论，有助于在实际工作中更好地设计、训练和评估机器学习模型。