Robert 设计日记三----神经网络学习体会1

前面已经说了，将开始设计机器人视觉功能，目的要使用机器人视觉来辨别用户，通过人脸识别进行导航跟踪，当然首先要识别人脸， 和相关物体，便于机器人跟踪过程的视觉应用。
通过一阶段学习，对激活函数，sigmoid,Relu,Softmax等都有了初步认识，下面再进一步通过后续学习了解深化这些认识。后面我将对
1、神经网络学习；
2、误差反向传播；
3、卷积神经网络
三方面进行学习。中间可能穿插手写数字的实例。我会记录难点的自我认识，和提出疑问，看有大牛解释。
先学习“1神经网络学习”
1.1 损失函数
一个体现网络性能的函数，越大，该识别网络性能越差，反之，越好。
—1.1.1 一个好抽象的损失函数“交叉熵误差”和简单明了的 ”均方差“
许多人看到这个熵就头大，学生时没接触的更闷。啥鬼玩意，还来个交叉熵。我一般不好理解时，就会找英文的原版，个人认为许多英文手册翻译后，由于翻译人本身的技术，英语和语文水准不够，大多时候，原版英文能帮你解开迷雾。好，这个看似高大上万人不懂的“交叉熵误差”到底是个啥鬼玩意，？？查下看出“交叉熵误差”英文为“ cross entropy error", 单词“entropy" 本意似乎使得我们豁然开朗：
entropy --不匹配，混乱程度或消耗在无用功上的能量的指标
error —两个物理量或计算量的误差
cross — 这里理解成乘法符号 ”X“如何
【这个熵从英文原意上的理解 就应该越小越好：）】
公式 E=- [- Tk * LOG Yk (原谅此处符号怪异，真确公式大致看官自己查一下)。公式中两个物理量分别为 监督数据输出Tk和神经网络数据输出Yk。 由于监督数据Tk 采用ONE-HOT 表示，即正确标签为1，其余为0。 则通过CROSS 的乘积，一旦差的神经网络输出错误的位置，即将错误位置输出为大概率值，则都被监督数据的0抵消。这样真确网络输出通过运行交叉熵误差函数的值就很小，错误网络通过运行交叉熵误差函数输出就大。由于损失函数的输出值与神经网络性能成反比。则毫无疑问，我们找到了好的神经网络。那么问题来了， 我们知道，还有个损失函数 ”均方差（mean squared error）“，我们为何不用？？？