m0_62865498的博客

因此，MSE通常用作训练神经网络的损失函数，因为它具有良好的数学性质，可用于梯度下降等优化算法的训练。而RMSE通常用作评价指标，以便在模型训练完成后，更容易理解模型的性能，因为它提供了与实际目标值相对应的误差度量。当使用RMSE作为评价指标时，我们通常希望它越小越好，因为它表示模型的预测与实际值之间的平均误差更小。在回归任务中，RMSE 提供了预测值与实际目标值之间的平均误差，同时考虑了误差的大小和方向。损失函数（MSE）：均方误差度量了模型的预测值与实际目标值之间的差异的平方的平均值。

这是最常见的神经网络训练方法之一。它通过计算损失函数对权重的梯度，并沿着梯度的反方向更新权重，从而逐步减小损失函数的值。梯度下降有多个变种，包括随机梯度下降（SGD）和小批量梯度下降。

高斯噪声是指它的概率密度函数服从高斯分布（即正态分布）的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯白噪声包括热噪声和散粒噪声。在通信信道测试和建模中，高斯噪声被用作加性白噪声以产生加性白高斯噪声。

将h的值通过激活函数σ映射到一个特定的输出范围内的一个值，通常是[0, 1]或[-1, 1]

文章：自然语言处理中的语言模型预训练方法（ELMo、GPT和BERT）语言模型不需要人工标注语料（属于自监督模型），所以语言模型能够从无限制的大规模语料中，学习到丰富的语义知识。

1、统计机器学习时期的语言模型–语音识别2、贝叶斯公式求P(s|A)——在有了语音信号的前提下是文本的概率。

所有神经元将房屋大小size作为输入x,计算线性方程，结果取max（0，y）,输出预测房价yReLU函数（线性整流函数）–max（0，y）