大规模深度学习
首先深度学习之所以能够在现在获得大的突破,主要依靠于硬件技术的进步和大数据的发展。卷积神经网络需要的高并发,依赖于GPU的发展不断进步,甚至已经有了很多专用设备,如谷歌TPU,阿里和华为也都有最新针对AI算法的芯片。
高并发时可能导致梯度下降出问题,目前多采用异步梯度下降。
当模型过大时,通常可以通过模型压缩来减少内存和运算时间。(具体方法这里没提)
模型可以动态选择运算单元,如注意力模型。
计算机视觉
应用很广的一个领域,如无人驾驶中识别红绿灯等。这里主要介绍了预处理和数据集增强的一些方式:
预处理:
主要介绍三种方式:全局对比度归一化、局部对比度归一化和白化
语音识别
语音转文字的一种应用。传统方式主要通过HMM和GMM实现;深度学习发展后,可通过受限玻尔兹曼机可实现,后面章节才有详细介绍。
自然语言处理
机器学习很大的一个分支,为了解决词的高维和稀疏性,提出了以下方案:
- n-gram:将连续的n个单元作为一个整体。因为稀疏性,计算时需要添加平滑,或者大小n-gram相嵌(回退方法)
- word-embedding:词向量。word2vec
- 高维输出:每个词作为一个维度输出了。计算量较大,为克服计算量大的问题,提出了以下几个方法:
- 短列表:常见词组合组成列表
- 分层softmax:这里说结果并不好
- 重要采样:给权重
- 噪声对比估计和排名损失:
- 结合n-gram和神经网络
- 神经机器翻译:使用注意力机制对其数据片段,一次性读取整个句子,然后每次根据注意力聚焦不同的部分。
其他应用
推荐系统
之前多使用协同过滤,有冷启动问题,所以有基于内容的推荐系统。后面介绍了基于强化学习的推荐系统,貌似不常用啊。
知识表示、推理和回答