激活函数的引入为神经网络提供了非线性变换的能力。没有激活函数，即使神经网络有多个层次，其输出仍然是输入的线性组合，这将限制其表达复杂函数的能力。通过使用非线性激活函数，神经网络能够学习和表示更复杂的任务和模式。

Python的默认编码方式是ASCII，如果在Python源码中包含了中文（或者其他非英语语言），即使将Python源文件以UTF-8格式保存了依然是不行。

简而言之，归一化将数据缩放到0和1之间，保留数据分布的形状，对取值范围未知或差异较大的特征适用。标准化将数据转换为均值为0，标准差为1的分布，使得所有特征具有相似的尺度，对取值范围已知且差异不大的特征适用。在深度学习中，归一化（Normalization）和标准化（Standardization）是两种常见的数据预处理技术，用于将输入数据调整到合适的范围，以提高模型的训练效果。最常见的归一化方法是将每个样本的特征值减去最小值，然后除以最大值和最小值之间的差值。是将数据转换为均值为0，标准差为1的分布。

学习笔记

学习笔记

学习笔记