关闭

《neural network and deep learning》题解——ch03 如何选择神经网络的超参数

标签: 神经网络深度学习
843人阅读 评论(0) 收藏 举报
分类:

http://blog.csdn.net/u011239443/article/details/77748116

问题一

上一节有问题也是调参,我们在这里讲解:

更改上面的代码来实现 L1 规范化,使用 L1 规范化使用 30 个隐藏元的神经网络对 MNIST数字进行分类。你能够找到一个规范化参数使得比无规范化效果更好么?

如何修改代码可参阅上节:http://blog.csdn.net/u011239443/article/details/77649026#t5

当无规范化时,我们将上节的代码update_mini_batch中做修改:

self.weights = [w - (eta / len(mini_batch)) * nw for w, nw in
                        zip(self.weights, nabla_w)]

total_cost中去掉:

cost += 0.5 * (lmbda / len(data)) * sum(np.linalg.norm(w) ** 2 for w in self.weights)

为了加快我们的训练,我们使得将训练集设置为1000,验证集设置为100:

net.SGD(training_data[:1000],30,10,0.5,evaluation_data=validation_data[:100],monitor_evaluation_accuracy=True)

结果:

Epoch 30 training complete
Acc on evaluation: 17 / 100

加入 L1 , λ = 100.0 时,结果:

Epoch 30 training complete
Acc on evaluation: 11 / 100

λ = 10.0 时,结果:

Epoch 29 training complete
Acc on evaluation: 11 / 100

λ = 1.0 时,结果:

Epoch 30 training complete
Acc on evaluation: 31 / 100

所以当λ = 1.0 时使,可以使得比无规范化效果更好。

问题二

修改 network2.py 来实现提前终止,并让 n 回合不提升终止策略中的 n 称为可以设置的参数。

随机梯度函数多加一个参数max_try:

    def SGD(self, training_data, epochs, mini_batch_size, eta,
            lmbda=0.0,
            evaluation_data=None,
            monitor_evaluation_cost=False,
            monitor_evaluation_accuracy=False,
            monitor_training_cost=False,
            monitor_training_accuray=False,max_try = 100):

cnt 记录不提升的次数,如达到max_try,就退出循环。这里用monitor_evaluation_accuracy举例:

        cnt = 0
        for j in xrange(epochs):
             ......
             if monitor_evaluation_accuracy:
                acc = self.accuracy(evaluation_data)
                evaluation_accurary.append(acc)
                if len(evaluation_accurary) > 1 and acc < evaluation_accurary[len(evaluation_accurary)-2]:
                    cnt += 1
                    if cnt >= max_try:
                        break
                else:
                    cnt = 0
                print "Acc on evaluation: {} / {}".format(acc, n_data)
           ......

问题三

你能够想出不同于 n 回合不提升终止策略的其他提前终止策略么?理想中,规则应该能够获得更高的验证准确率而不需要训练太久。将你的想法实现在 network2.py 中,运行这些实验和 3 回合(10 回合太多,基本上训练全部,所以改成 3)不提升终止策略比较对应的验证准确率和训练的回合数。

策略与实现

多一个参数x,当提升率小于x,则停止。

随机梯度函数多加一个参数max_x:

    def SGD(self, training_data, epochs, mini_batch_size, eta,
            lmbda=0.0,
            evaluation_data=None,
            monitor_evaluation_cost=False,
            monitor_evaluation_accuracy=False,
            monitor_training_cost=False,
            monitor_training_accuray=False,min_x = 0.01):

当提升率小于x,则停止。这里用monitor_evaluation_accuracy举例:

            if monitor_evaluation_accuracy:
                acc = self.accuracy(evaluation_data)
                evaluation_accurary.append(acc)
                if len(evaluation_accurary) > 1 and \
                        (acc - evaluation_accurary[len(evaluation_accurary)-2])*1.0/(1.0*n_data) < min_x:
                    break
                print "Acc on evaluation: {} / {}".format(acc, n_data)

对比

10 回合不提升终止策略:

net.SGD(training_data[:1000],50,10,0.25,5.0,evaluation_data=validation_data[:100],
        monitor_evaluation_accuracy=True,max_try=3)

的结果:

Epoch 32 training complete
Acc on evaluation: 15 / 100

提升率小于x停止策略:

Epoch 3 training complete
Acc on evaluation: 17 / 100

问题四

更改 network2.py 实现学习规则:每次验证准确率满足满足 10 回合不提升终止策略时改变学习速率;当学习速率降到初始值的 1/128 时终止。

对问题二中的代码进行稍微的修改,128 = 2 ^ 7 。所以,多加个计数 del_cnt 记录学习率减小的次数:

        cnt = 0
        del_cnt = 0
        for j in xrange(epochs):
        ......
            if monitor_evaluation_accuracy:
                acc = self.accuracy(evaluation_data)
                evaluation_accurary.append(acc)
                if len(evaluation_accurary) > 1 and acc < evaluation_accurary[len(evaluation_accurary)-2]:
                    cnt += 1
                    if cnt >= max_try:
                        del_cnt += 1
                        if del_cnt >= 7:
                            break
                        eta /= 2.0
                        cnt = 0   
                else:
                    cnt = 0
                print "Acc on evaluation: {} / {}".format(acc, n_data)

问题五

使用梯度下降来尝试学习好的超参数的值其实很受期待。你可以想像关于使用梯度下降来确定 λ 的障碍么?你能够想象关于使用梯度下降来确定 η 的障碍么?

  • 使用梯度下降来确定 λ 的障碍在于,

    得:
    Cλ=ww22n=0
    最优化目标使得 w = 0,但是 w 也是我们原来需要优化的。

  • 使用梯度下降来确定 η 的障碍在于,η 的最优解不是一个常数,随着迭代次数的增加,η 的最优解会越来越小。

这里写图片描述

0
0
查看评论

《neural network and deep learning》题解——ch03 再看手写识别问题题解与源码分析

http://blog.csdn.net/u011239443/article/details/77649026完整代码:https://github.com/xiaoyesoso/neural-networks-and-deep-learning/blob/master/src/network2....
  • u011239443
  • u011239443
  • 2017-08-28 15:12
  • 862

神经网络压缩(4) Learning Structured Sparsity in Deep Neural Networks

转载自:http://blog.csdn.net/wangqingbaidu/article/detailsLearning Structured Sparsity in Deep Neural Networks
  • cookie_234
  • cookie_234
  • 2017-06-13 20:51
  • 864

《neural network and deep learning》题解——ch01 神经网络

在线阅读:http://neuralnetworksanddeeplearning.com/1.2 S 型神经元问题 1证:σ(cw,cb)=11+e−∑jcwjxj−cb=11+e−cz\large \color{blue}{\sigma (cw,cb) = \frac{1}{1+e^{-\sum...
  • u011239443
  • u011239443
  • 2017-06-28 22:11
  • 2261

Neural Networks and Deep Learning 神经网络和深度学习book

在线阅读 http://neuralnetworksanddeeplearning.com/index.html
  • baobei0112
  • baobei0112
  • 2016-03-14 10:51
  • 3212

《Neural networks and deep learning》概览

最近阅读了《Neural networks and deep learning》这本书(online book,还没出版),算是读得比较仔细,前面几章涉及的内容比较简单,我着重看了第三章《Improving the way neural networks learn》,涉及深度神经网络优化和训练的各...
  • u012162613
  • u012162613
  • 2015-03-12 12:34
  • 16492

neural network and deep learning笔记(1)

neural network and deep learning 这本书看了陆陆续续看了好几遍了,但每次都会有不一样的收获。DL领域的paper日新月异,每天都会有很多新的idea出来,我想,深入阅读经典书籍和paper,一定可以从中发现remian open的问题,从而有不一样的视角。
  • dp_BUPT
  • dp_BUPT
  • 2016-03-27 10:34
  • 1870

[机器学习] Coursera ML笔记 - 神经网络(Learning)

本文主要记录我在学习神经网络模型训练(参数学习)时的笔记,参考UFLDL Tutorial和Coursera ML,笔记中重点讨论了神经网络的代价函数模型和参数学习中的Backpropagation算法,希望可以为大家提供一些帮助,也欢迎交流讨论,谢谢!
  • walilk
  • walilk
  • 2016-01-12 21:05
  • 6575

「深度神经网络」(deep neural network)具体是怎样工作的?

「深度神经网络」(deep neural network)具体是怎样工作的?
  • yangdashi888
  • yangdashi888
  • 2017-05-02 17:23
  • 570

Paper Note - Learning to Hash with Binary Deep Neural Network

本文来自ECCV2016,这里主要记录一下自己读完论文的收获。原文链接:Learning to Hash with Binary Deep Neural Network - ECCV2016 自制ppt:PPT - Learning to Hash with Binary Deep Neural ...
  • lcx543576178
  • lcx543576178
  • 2016-12-09 21:23
  • 482

Andrew Ng's deeplearning Course1Week2 Neural Networks Basics(神经网络基础)

2.1二分 举一个识别猫的例子。 输入一个图片,判别有猫或无猫,这就是一个简单的二分分类。 为了将图片转换成一个特征向量,大家都知道图片由红绿蓝三个像素矩阵组成,假设这个 矩阵是64*64的,我们将之重构(Python里面是用reshape这个方法),将三个矩阵合并为一个 nx(nx即维度,nx...
  • u012867545
  • u012867545
  • 2017-10-19 22:08
  • 232
    个人资料
    • 访问:240235次
    • 积分:3649
    • 等级:
    • 排名:第10650名
    • 原创:131篇
    • 转载:38篇
    • 译文:6篇
    • 评论:51条
    博客专栏