学习神经网络笔记

1. 过程笔记：

• 人工智能+金融：芝麻信用
• 人工智能+内容创作：腾讯的DreamWriter和阿里的鲁班系统
• 人工智能+机器人
• 人工智能>机器学习>深度学习

逻辑演绎vs归纳总结

• 调查问卷：每一个问题对应一个语义概念
• 问题选项：同一概念的不同图像模式

知识工程vs机器学习

• 知识工程：结果容易解释、依赖专家祝福按经验，难以保持一致性和准确性。好比与一个函数的构造过程，复杂度不固定
• 机器学习：结果不易被解释、来源于真实数据，减少人工规则主观性，可信度高。好比一个神经网络，复杂度固定

机器学习的定义：

1. 计算机系统能够利用经验提高自身性能
2. 机器学习本质是给予经验数据和函数估计问题
3. 提取重要模式、去式，并理解数据，即从数据中学习
   总的来说，是从数据中自动提取知识

什么时候用机器学习：规模大，有复杂的规则，是一个有意义的问题

机器学习怎么学：模型、策略、算法

模型分类的依据：数据标记、数据分布、建模对象

深度学习应用研究：视觉+语言

深度学习理论研究：从“能”到“不能”

深度学习的“不能”：算法输出不稳定，容易被攻击(对抗样本？、单像素攻击？)、模型复杂度高，难以纠错和调试(毛利语到英语的谷歌翻译)、模型的层级复合程度高，参数不透明、端到端训练方式对数据依赖性强，模型增量性差、专注直观感知类问题，对开放性推理问题无能为力(鹦鹉和乌鸦的例子，大象和民主党)、人类知识无法有效引入进行见度，机器偏见难以避免。稳定性低、可调试性差、参数不透明、机器偏见、增量性差、推理能力差。

未来的深度学习发展方向？基于人类学习知识的途径

神经网络基础

• 浅层神经网络
• 激活函数
• 单层感知器：解决与非或
• 多层感知器：解决异或
• 万有逼近定理
• 网络更深比更宽更加有效

神经网络如何学习：非线性函数的复合

梯度消失问题：产生原因：误差通过梯度进行反向传播，增加深度会造成梯度消失，误差无法传播，多层网络容易陷入局部极值，难以训练。

深层神经网络

• 逐层预训练：找到局部较好或最好的初值。更快。
• 自编码器：最小化重构错误，不需要保留中间输入。
• 受限玻尔兹曼机(RBM)：来回条件概率使得隐藏层得到的可见层与原来的可见层一致。