TensorFlow入门笔记

TensorFlow

softmax regression介绍

分两步：
对图片像素值进行加权求和来得到给定图片属于某个特定数字类的证据。
如果不属于则权值为负数；反之为正数。

我们也需要加入一个额外的偏置量（bias）,因为输入往往会带有一些无关的干扰量。因此对于给定的输入图片 x 它代表的是数字 i 的证据可以表示为：

其中j代表给定图片x的像素索引用于像素求和。

softmax可以看成是一个激励（activation）函数或者链接（link）函数，把我们定义的线性函数的输出转换成我们想要的格式，也就是关于10个数字类的概率分布。softmax函数可以定义为：

其中，normalize函数是归一化函数，需要把处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。
这个幂运算表示，更大的证据对应更大的假设模型（hypothesis）里面的乘数权重值。反之，拥有更少的证据意味着在假设模型里面拥有更小的乘数系数。假设模型里的权值不可以是0值或者负值。Softmax然后会正则化这些权重值，使它们的总和等于1，以此构造一个有效的概率分布。
正则化 (Regularization) 是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。

<