文章目录
人工智能和机器学习概述
发展脉络
人工智能的三个发展层面
计算智能
计算机具有快速计算和记忆存储能力；
“深蓝”：算法核心基于暴力穷举。
感知智能
能听会说、能看会认。
认知智能
能理解、思考、决策。
AlphaGo。
如何理解人工智能
1956年，达特茅斯会议：“人工智能”概念诞生。
人工智能：使机器向人一样进行“感知”、“认知”、“决策”、“执行”的人工程序或系统。
类人行为方式
人工智能是一种创建机器的技巧，这种机器能够执行需要人的智能才能完成的功能。
图灵测试是检验机器是否具有智能的测试。它要求计算机必须具备“理解语言”、“学习”、“记忆”、“推理”、“决策”。
类人思维方式
人工智能是那些与人的思维，决策，问题求解和学习等有关活动的自动化。
理性思维方法
思维方法的规范化——专家系统。
理性行为方法
人工智能关注人工制品中的智能行为，这种人工制品要指能够动作的智能体。
神经网络和深度学习概述
这几个领域，彼此之间有交融的部分。
数据挖掘是机器学习的工业应用，但又有其独特的性质。
广义上讲，机器学习是机器通过经验改善自身性能的技术。
发展脉络
1957年 Frank Rosenblatt 感知机；
1986年 Hinton和David Rumelhart BP神经网络；
1989年 Lecun CNN；
1997年 Schmidhuber LSTM；
2006年 Hinton DBN（深度置信网络）&RBM（限制玻尔兹曼机）：
- RBM相当于一个两层的网络，同一层神经元之间不可连接（所以叫“限制”），可以对神经网络实现无监督训练。DBN就是几层RBM叠加在一起。
- RBM可以从输入数据进行预先训练，自己发现重要特征，对神经网络连接的权重进行有效初始化，被称作：特征提取器或者自动编码器。
多层神经网络的训练是从第一层计算到最后一层，然后反向传播进行更新权重，这样的问题是，层数太多的话难以训练。DBN则是采用了逐层训练的方式，每一层都以前面一层作为输入和输出，自己作为中间层，组成了一个自编码器的结构，因此，它的训练也是无监督的。
2007年 CUDA；
2009年 Jia Deng ImageNet；
2011年 Xavier和Yoshua Bengio ReLU；
2016年 Goodfellow GAN；
深度学习应用
机器学习基本概念
机器学习是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识和技能，重新组织已有知识结构使之不断改善自身性能。
它是人工智能核心。
基本定理：
模型的出错率正比于 模型的复杂程度 / 样本的大小。
基本问题：
分类、回归、聚类。
基本要素：
数据（训练集，测试集）
学习算法
评价指标
实施过程：
机器学习的核心/任务是从大量数据中学习，找到一个函数/模型。
机器学习和深度学习的区别：
机器学习整体流程：
模型的评估与选择
深度学习简介
对于分类问题而言，两者的流程都是一样的，特征提取器与分类器分步。
机器学习的模型是手工设计的，表示能力弱；
深度学习的模型是完整的网络，自主更新，表示能力强。
比如KNN，特征提取对应着距离计算，分类对应着前k个类别标签；
基本框架
随着网络层数的加深，关注的特征更加全面；
线性模型
线性回归&Logistic回归
正则项
一般目标函数（优化问题目标，ML；损失函数，DL）包含两部分：
数据项：回归/分类的目标，如误差尽可能小或分类尽可能准确；
正则化项：对参数空间的限制/对额外属性的追求。
正则化可以防止过拟合、控制模型复杂程度；
岭回归（Ridge Regression,L2 norm）
以线性回归问题为例。
引入
我们的曲线只是一条关于前两个特征相关的二次曲线，因此我们向目标式子中加入高阶项的参数，希望优化时，将其趋向于0。
正则化的思想是一种将参数缩小的思想，一定程度上减小其影响。
当特征过多时，我们不知道哪些特征有用，因此采用岭回归，对所有参数加以约束。
需要注意的是， λ \lambda λ的设置影响效果，过大的话，会让所有参数趋向于0，从而形成一条直线。
于是线性回归的解可以更新为：
当样本数量远小于特征数的时候，有些问题就无法求解逆矩阵。
我们在Fisher Faces中给出的解决方案是，先通过PCA降维，再求解问题；但是通过加入正则化项，上述式子也是可逆的。也就是说，解决矩阵不可逆的另一个方法是，加入正则化项。
类别不平衡
采样时
- 过采样
正例数目少，过采样目的是增加正例数目；
可用的方法是：样本复制、样本插值、样本生成（GAN） - 降采样
正例数目少，降采样目的是减少反例数目；
损失函数时
1338
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
