参考链接:https://www.missshi.cn/api/view/blog/5a2273939112b35ff3000002
在本文中,我们将了解一些机器学习中的超参数调优、Batch正则化及深度学习框架。
主要包括:
1. 超参数调试经验
2. 深层神经网络中隐藏层的归一化
3. Batch正则化
4. Softmax分类回归问题
5. 深度学习框架简介
1.超参数调试经验:
① 假设有两个超参数:参数1和参数2。 我们可以将两个点构成一个平面,并在平面上均匀选择一系列点,并找出其中的最优点。 在深度学习应用中,我们有时无法确定哪些超参数的影响更大,通过随机选择点,可以达到在每个维度上有更多的值进行选择,从而得到相对更好的结果。
② 从粗粒度到细粒度:首先对在整个空间中随机选择一系列点,并找出其中的相对较优点集中的区域;将该区域进行上述方法,并在该区域中中随机选择一系列点,并找出其中的相对较优点集中的区域
2. 深层神经网络中隐藏层的归一化:(对所有层的输入归一化)
对输入数据进行归一化可以有效的提升训练速度,原因在于我们将模型的最优值范围变得更加规则。
3.Batch归一化
4.Softmax分类回归问题:
Softmax是解决多分类问题的常见方法。 在前面 机器学习(七):CS229ML课程笔记(3)——广义线性模型 学习过多分类回归模型(Softmax regression)在广义线性模型下的推导。
5.深度学习框架简介:
随着神经网络变得越来越复杂,每次自己从零开始构建网络已经变得成本越来越高。
幸运的是,目前有很多强大的神经网络框架可以供我们直接调用。
利用这些框架,我们将不再需要纠结于如何实现网络计算,如何进行反向传播,从而可以把更多的精力用于模型结构的设计与调优上。
目前,流程的深度学习框架有很多,如下图所示:
每个框架都有其特点和适用的场景。同时,这些框架也在不断的改进和维护。
那么,该如何选择框架呢?
- 易用,易编程
- 计算效率高
- 是否会长时间开源
- 支持的语言
根据这几个特点,大家可以选择自己感兴趣的框架进行学习。