softmax regression tensorflow实现 matlablib显示

• softmax regression 是在 logistic regression 基础上做的推广，logistic regression只要用于处理二分类问题，二softmax regression用于处理多分类问题
• softmax regression模型

  假设有m个训练样本，$\left\{(X^1,y^1),(X^2,y^2)......(X^m,y^m)\right\}$,X为实数范围的向量，类标签的范围为 { 0 , 1...... k } \left \{ 0,1......k \right \} {0,1......k}。假设函数为每一个样本估计其所属类别的概率$P(y=1|X)$，具体的函数为：$$h_{\theta }(X^i)=\left[\begin{array}{c}P(y^i=1|X^i;\theta )\\ P(y^i=2|X^i;\theta )\\ P(y^i=k|X^i;\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{X}^i}}\left[\begin{array}{c}{e}^{{\theta }_1^T{X}^i}\\ e^{{\theta }_2^T{X}^i}\\ ......\\ e^{{\theta }_k^T{X}^i}\end{array}\right]$$
  其中：$\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{X}^i}}$这一项是对概率分布进行归一化。
  至于假设函数的证明，请阅读https://www.cnblogs.com/BYRans/p/4905420.html这位博主写的，很详细。

• softmax regression代价函数(损失函数)

  $$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^{k}I\left\{y^i=j\right\}log\frac{e^{{\theta }_j^T{X}^i}}{{\sum }_{l=1}^k{e}^{{\theta }_j^T{X}^i}}\right]$$其中，$I\left\{y^i=j\right\}$表示的是当$y^i$属于j类是，$I\left\{y^i=j\right\}$值为1，否则为0。

• 梯度下降求解

  对上面的代价函数，求梯度可以得到：$$-\frac{1}{m}\sum _{i=1}^m[X^i(I\left\{y^i=j\right\}-P(y^i=j|X^i;\theta ))]$$

• 用python实现上述过程。具体代码在：https://github.com/xzccfzy/softmax_regression.git主要参考了书上的内容和代码，先记录下来。
• tensorflow 所用的数据是一些坐标点。具体代码在：https://github.com/xzccfzy/softmax_regression.git