深度学习笔记(黄海广)
github(黄海广等)
课后作业:测验
课后作业:测验+编程
课件
AI学习的开源项目
课程设置
- 神经网络与深度学习
- 如何建立一个神经网络,包括深度神经网络
- 如何在数据上训练神经网络
- 用一个神经网络辨认猫
- 改善深层神经网络:超参数调试、正则化及优化
- 神经网络的编程知识
- 严密地构建神经网络,如何真正让它表现良好,因此要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如Momentum和Adam算法
- 结构化机器学习项目
- 卷积神经网络
- 如何搭建CNNs(常被应用于图像领域)
- 序列模型
- 循环神经网络RNN、长短期记忆网络LSTM
- 序列模型应用于自然语言处理问题
什么是神经网络
- 只要尝试输入一个 x x x,即可把它映射成 y y y
- 每个隐藏层单元都从输入的所有特征获得自身输入,不具有含义
神经网络的监督学习
- 标准神经网络:房地产、在线广告
- 卷积神经网络:图像
- 递归神经网络:音频序列、单词序列
![](https://i-blog.csdnimg.cn/blog_migrate/21ad58a1b1e87ccb07ceb9314b4cb7d0.png)
为什么深度学习会兴起
-
在小的训练集中,各种算法的优先级事实上定义的也不是很明确,所以如果没有大量的训练集,那效果会取决于特征工程能力。
-
通过以下两种方式可获得较高的性能体现:
- 训练一个规模足够大的神经网络
- 投入更多的数据
这只能在一定程度上起作用,因为最终会耗尽数据,或者最终的网络是如此大规模导致将要用太久的时间去训练。
![](https://i-blog.csdnimg.cn/blog_migrate/935169e9bbb810a4ca77c38387304495.png)
- 在深度学习萌芽的初期,数据的规模以及计算量,局限在对于训练一个特别大的神经网络的能力,无论是在CPU还是GPU上面,那都使得我们取得了巨大的进步。
- 但是渐渐地,尤其是在最近这几年,我们也见证了算法方面的极大创新,许多算法方面的创新,一直是在尝试着使得神经网络运行的更快。