deeplearning.ai 笔记 Specialization 2 week 3 超参数调试

1. tune process

会调整的超参数:红、黄、紫为调整的可能

从粗略到详细地调整,尝试随机

2. 为超参数选择合适的范围

一般不会使用线性轴,因为在首末对于熟知的变化敏感程度不一样,需要更多的去寻找。如果使用线性然后由粗到细的找最后也能找到合适的超参数

3. 超参数设置实践:

Panda V.S. Caviar(熊猫和鱼子酱),来代表两种不同实验超参数的方式,第一种每天都要悉心照料(通常计算资源不够),第二种同时跑很多种模型找最好的。

4.正则化网络的激活函数

为了更好的训练w and b:

5. 将Batch Norm 拟合到神经网络中

Batch Norm发生在红色线部分,在z输入激活函数变成a之前。

在tensorflow中一句话就可以实现:tf.nn.batch.normalization

Batch Norm 经常和mini batch一起使用:

由于使用了Batch,b不再需要(会被抵消,每次计算 z title 平均值再减去平均值)

6. 为什么 Batch Norm 有用

Covariate shift:

在黑猫的数据及上训练完成后,模型可能不能很好的处理其他有色猫。

而“对于神经网络的各层输出,在经过了层内操作后,各层输出分布就会与对应的输入信号分布不同,而且差异会随着网络深度增大而加大了,但每一层所指向的Label仍然是不变的”

BN还有轻微的正则化作用。

7. 测试时的Batch Normalization

8. Softmax 回归

进行多分类时

9. 训练softmax

hardmax:将1放在一个位置上,其他0

softmax:将每个概率放在相应位置上,和为1

当C=2是,softmax回归和逻辑回归一样,证明思路是给的两个概率其实有一个没有意义,变成了一个输出

借助变成框架可一直关心正向传播,框架会帮你计算导数、反向传播

10. 框架选择

11. Tensorflow

内容概要:该题库专为研究生入学考试计算机组成原理科目设计,涵盖名校考研真题、经典教材课后习题、章节题库和模拟试题四大核心模块。名校考研真题精选多所知名高校的计算机组成原理科目及计算机联考真题,并提供详尽解析,帮助考生把握考研命题趋势与难度。经典教材课后习题包括白中英《计算机组成原理》(第5版)和唐朔飞《计算机组成原理》(第2版)的全部课后习题解答,这两部教材被众多名校列为考研指定参考书目。章节题库精选代表性考题,重基础知识与重难点内容,帮助考生全面掌握考试大纲要求的知识点。模拟试题依据历年考研真题命题规律和热门考点,精心编制两套全真模拟试题,并附标准答案,帮助考生检验学习成果,评估应试能力。 适用人群:计划参加研究生入学考试并报考计算机组成原理科目的考生,尤其是需要系统复习和强化训练的学生。 使用场景及目标:①通过研读名校考研真题,考生可以准确把握考研命题趋势与难度,有效评估复习成效;②通过经典教材课后习题的练习,考生可以巩固基础知识,掌握解题技巧;③通过章节题库的系统练习,考生可以全面掌握考试大纲要求的各个知识点,为备考打下坚实基础;④通过模拟试题的测试,考生可以检验学习成果,评估应试能力,为正式考试做好充分准备。 其他说明:该题库不仅提供详细的题目解析,还涵盖了计算机组成原理的各个方面,包括计算机系统概述、数据表示与运算、存储器分层、指令系统、中央处理器、总线系统和输入输出系统等。考生在使用过程中应结合理论学习与实践操作,重理解与应用,以提高应试能力和专业知识水平。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值