《深度学习入门》（俗称：鱼书）读书笔记-第四章（神经网络的学习）

《深度学习入门》（俗称：鱼书）读书笔记 Day2

神经网络的学习

学习：从训练数据中自动获取最优权重参数的过程。目的是以损失函数为基准，找到能让其达到最小的权重参数。

1.从数据中学习

感知机收敛定理：感知机可以通过有限次数的学习，解决线性可分的问题。但不能通过学习解决非线性可分的问题。但神经网络uo可以直接将原始数据进行学习，避免了人力的特征工程。
特征量：可以从输入数据中准确提取出重要数据的转换器。不同的问题要选择合适的特征量。
训练数据，测试数据，过拟合，欠拟合
过程：通过训练数据学习参数，然后通过测试数据评价模型能力。划分原因：未来保证泛化能力。

2.损失函数

用来评价网络性能。方法是利用梯度来逐步更新参数的值从而使得损失函数尽可能小。
使用损失函数不使用精度的原因：
因为精度是离散的不连续的，微调参数不能改善精度
神经网络使用sigmoid不适用阶跃函数的原因：
阶跃函数导数一般为0或者突变。因此无法通过导数（梯度）来指导参数修正。而sigmoid导数是连续的。

1.均方误差

python表示

def mean_squared_error(y,t):#y为网络输出，t为label
    return 0.5*np.sum((y-t)**2)#**2表示2次方

one-hot:正确标签为1，其他标签为0

2.交叉熵误差

python表示

def class_entropy_error(y,t):#同样y为网络输出，t为label
    delta=1e-7 #设置微笑量，因为y有可能为0，那么logy为无穷
    retrun -np.sum(t*np.log(y+delta))

以上均为单个输入的误差，应用时要使用整体误差来调整参数。因此要n个数据的误差累加最后再除以n
mini-batch学习：从全部的数据中选出一部分，作为全部数据的近似。原因：如果数据很多全部计算损失函数花费时间会很长。比对批处理
python_keys:

num=np.random.choice(train_size,batch_size)#[0,train_size)中随意选取batch_size个
arr=np.arange(size)#生成[0,size)的数组

3.数值微分

数值微分：利用微小的差分求导数的过程，含有误差。
解析行求解：利用数学公式求导的过程，不含误差。

4.梯度

python_keys:

np.zeros_like(x)#生成一个和x大小相同的全零矩阵

梯度指示的是个点函数值降低最快的方向，但在复杂函数中指示的方向一般不是函数的最小值处。
学习高原：梯度法寻找的是梯度为0的地方，但如果函数复杂且呈扁平状时，学习可能会进入这个平坦地区，导致无法下降。
学习率：指每次调节参数的幅度大小。被称为超参数，一般是由人来设定的需要尝试多个值。和由神经网络的参数（权重，偏置）不同。

5.学习算法的实现

步骤：

• 1.从训练数据中随机选出一部分数据称为mini-batch。目标是减小mini-batch的损失函数的值。
• 2.求出各个权重参数的梯度（即损失函数关于权重的偏导数）
• 3.将权重参数眼梯度下降的方向微小更新
• 4.重复1，2，3
  随机梯度下降：对随机选择的数据(mini-batch)选择的数据使用梯度下降方法。一般命名为SGD函数
  一些小技巧：书中还是使用的手写数字识别，此处的代码不可运行

train_size=train.shape[0]#数组组数
batch_size=100#mini-batch每次取的组数
train_loss_list=[]
train_acc_list=[]
test_acc_list=[]
#epoch指所有训练数据被使用过一次时的更新次数
iter_per_epoch=max(train_size/batch_size,1)
#人工设定的超参数
items_num=10000 #梯度下降法的更新次数
learning_rate=0.1
network=TwoLayerNet(input_size=784,hidden_size=50,output_size=10)#初始化一个网络
for i in range(items_num):
    batch_mask=np.random.choice(train_size,batch_size)
    x_batch=x_train[batch_mask]#数组里边放数组，取出相应数组下标的元素，最后构成数组。
    t_batch=t_train[batch_mask]
    grad=network.gradient(x_batch,tbatch)#梯度
    for key in ('W1','b1','W2','b2'):
        network.params[key]-=learning_rate*grad[key]
    loss=network.loss(x_batch,t_batch)
    train_loss_list.append(loss)# 计算损失函数，最后可以画图，最后逐渐逼近x轴的是收敛的。
    if i%iter_per_epoch==0:
        train_acc=network.accuracy(x_train,t_train)
        test_acc=netwrok.accuracy(x_test,t_test)
        train.acc_list.append(train_acc)
        test_acc_list.append(test.acc)#训练集，测试集的准确率，最后画图是逼近1（过好会导致过拟合）的曲线代表训练好了
        #ps 数组支持==运算

不学啦不学啦，这本书只适合入门，很简单。
峡谷见面 0.0