小飞鸟

逻辑回归也被称为广义线性回归模型，它与线性回归模型的形式基本相同，最大的区别是它们的因变量不同，如果是连续的，就是多重线性回归，如果是二项分布，就是 Logistic回归。 Logistic回归虽然名字里带“回归”，但它实际上是一种分类方法，主要用于二分类问题。逻辑回归就是这样的一个过程：面对一个回归或者分类问题，建立相应的函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证这个求解的模型的好坏。 它的优点有： 速度快，适合二分类问题； 简单、易于理解，可以直接看到各个特征的权重； 能容易

基本结构 如图所示，从图中可以看到输入 x， 隐含层，输出层等，这些与传统神经网络类似。自循环W却是它的一大特色。 其中U是输入层到隐含层的权重矩阵，W是状态到隐含层的权重矩阵，s为状态，V是隐含层到输出层的权重矩阵。 从图中可以看出，它的共享参数是各个时间节点对W, U,V都是不变的，这个机制就像卷积神经网络的过滤器机制一样，通过这个方法，实现参数共享，可以大大降低参数量。 隐含层结构 这个网络在每个时间t都有相同的网络结构。假设 输出的 x 是 n 维向量，隐含层的神经元个数是m,输出层的神经元个数为r

数据集说明 CIFAR-10数据集由10个类的 60000 个 32x32 彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。数据集划分为5个训练批次和1个测试批次，每个批次有10000个图像，测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序包含剩余图像，但由于一些训练批次可能来源一个类别的图像比另一个多，因此总体来看，5个训练集之和包含...

import numpy as np #反向传播算法定义损失函数和激活函数 def loss(network_y, real_y): ''' 返回函数的编导，损失函数使用 MSE L = 1/2 (netowork_y - real_y)^2 delta_L = network_y - real_y 损失函数使用了均方误差作为该神经网络的损失函数，因此求...