【王木头学科学|深度学习】4. 损失函数是如何设计出来的？直观理解“最小二乘法”和“极大似然估计法”

笔记来源于B站UP主@王木头学科学
笔记来源https://www.bilibili.com/video/BV1Y64y1Q7hi

1 损失函数

损失函数：标准模型与神经网络训练出来的模型相差多少的定量表达，

• 最小二乘法
• 用这张图来表示处理这张图的过程，xi表示输入的图像，只有两种结果，0和1，是猫表示1不是猫表示0，输出结果yi（选用的是sigmoid函数）是（0,1）零到一之间，其得出的结论是输入一张照片经过神经网络，输入的结果是有多大的概率像猫。
  
  所以要比较xi和yi两个结果，两个结果相差越小，神经网络模型就越好。
  对所有的输入输出求最下的差值，但是取绝对值在定义域内有时候不可导，所以通常是求平方，虽然最小值可能发生变化，但是不影响xi和yi之间的关系。
  
  

2. 极大似然估计

• 什么是似然
  真实世界是抛硬币的例子（右边），由此反推它的概率模型（左边），假设它的概率模型是左边这个，在这个模型下，抛出7枚正面3枚反面的可能性是下面的计算结果
  
  由此计算出中间的概率模型可能性最大。

上面计算得到的值和概率有点类似，都是一种可能性，由真实世界反推得出来的值，叫做似然值
似然值是真实的世界已经发生，假设有很多模型，在某个概率模型下发生某种情况的可能性，叫做似然值。找出似然值最大的，也就是可能性最高。这叫做极大似然估计法。挑出似然值最大的那个概率模型和它本来的概率模型，是最接近的。

现用极大似然估计法：

因为xi只有0和1两种情况，所以可以展开成伯努利分布


上式子是连乘的，现在变成连加，之后找到这个式子的最大值即为最接近人脑概率模型（最小值加上负号）