逻辑回归-图片识别-TF实现-数据可视化【人工智能学习】

今天学习了一下逻辑回归，并且实现了对手写图片图集MNIST 的学习
读者可以根据代码做少聊修改便可以完成一个简单的数字识别器

逻辑回归

什么事逻辑回归？
逻辑回归和线性回归都是一种拟合方式，都是监督学习中的方式。
线性回归是给一个结果，我们来预测她的结果是什么，我们举的例子是房价
逻辑回归则不是，它是对于事物判断的可能性，即概率，我们举个例子：判断这个图片是不是一组手写数字

而监督学习会给我们一大堆已经标号的数据，【图A-是】【图B-不是】等等…我们通过机器学习可以让他判断这个是不是我们想要的图片（非卷积）

那么对于逻辑回归，它的样本公式和线性的不同：
看得出来，随着z的不断变大，g的值趋近0
也因为这种特性，它的损失函数不再是MSE（方差），而是Cross Entropy（交叉熵），对于交叉熵的概念可以参考交叉熵解释。
这个在tf当中就是一句话：【softmax_cross_entropy_with_logits】

在逻辑回归模型中，我们最大化似然函数和最小化损失函数实际上是等价的，因此他的代价函数
其中L(w)是似然函数：
其中p（x）代表发生概率

那么对他使用梯度向下的方法 该怎么办呢？

梯度向下算法

还是老样子，其实我们求导之后选择变化最大的方向去优化即可
梯度下降是通过 J(w) 对 w 的一阶导数来找下降方向，并且以迭代的方式来更新参数，更新方式为，其中 k 为迭代次数:

当然，在代码里我们tf也有库的封装去训练他，下面我们开始代码实现

代码实现

思路：首先我们还是老样子，获取数据集，点击这里进行下载：

train-images-idx3-ubyte.gz: training set images (9912422 bytes)
train-labels-idx1-ubyte.gz: training set labels (28881 bytes)
t10k-images-idx3-ubyte.gz: test set images (1648877 bytes)
t10k-labels-idx1-ubyte.gz: test set labels (4542 bytes)

引用这个训练集的方法，我放在和py文件同样目录下：

MNIST = input_data.read_data_sets("./", one_hot=True)

然后就要开始构建这个学习的函数了，由于这次我们使用了数据集，我们需要使用分批的形式来训练，这样可以快速达成训练目标，当然也要训练25次，这样提高模型精度
最后再使用测试集来完成测试，并绘制整个loss的波动图

learning_rate = 0.01 #设置学习速率
batch_size = 128 #批次数量
n_epochs = 25 #训练次数
#下面是初始化，一个分类器的W、b是784维向量，10个分类器就是784*10的矩阵
X = tf.placeholder(tf.float32, [batch_size, 784])
Y = tf.placeholder(tf.float32, [batch_size, 10])
w = tf.Variable(tf.random_normal(shape=[784,10], stddev=0.01), name="weights")
b = tf.Variable(tf.zeros([1, 10]), name="bias")

构建模型，很熟悉的模型，和线性回归类似即可，原因是通过训练集的训练，参数会变成合理的形式（向量化）

logits = tf.matmul(X, w) + b

之后构建交叉熵的损失函数，再加上一个优化器，不多说了，和线性回归一样的：

entropy = tf.nn.softmax_cross_entropy_with_logits(labels=Y, logits=logits)
loss = tf.reduce_mean(entropy)
optimizer