机器学习 （第1章 介绍）

人工智能介绍

1.图灵测试不能判定AI是强是弱。原因：
（1）图灵测试问题无法全面；
（2）人与人之间的知识差距尚且很大，如何通过回答去区分人与机器；
（3）图灵测试的判定标准不明确；
（4）AI不需要拥有一些人思维上的一些缺点。
2.人工智能的发展：
（1）孕育期（~1956）：图灵测试提出（1950）
（2）推理期（1956~1965）：逻辑理论家程序（1956）、Lisp语言（1960）
（3）知识期（1965~1983）：DENDRAL（1965）和MYCIN（1972）
（4）学习期（1983~2006）：统计机器学习主导，SVM
（5）黄金期（2006~）：神经网络与深度学习
3.机器学习发展与人工智能的发展大体是一致的。因为人工智能就是从机器学习开始，直到2006提出深度学习后才逐渐退出主流舞台。**机器学习是否已完全无用？完全被深度学习代替？**答案为否。因为深度学习也不完美，机器学习可以支持宽泛的学科领域的特点，为各领域提供的助力是强大的。

机器学习研究的问题

1.监督学习（Supervised learning）：分为分类（Classification）问题（上图）和回归（Regression）问题（下图）。其数据包含两部分：输入X和标签Y。


2.无监督学习（Unsupervised learning）：主要有聚集（Clustering）和密度估计（Density estimation）。由于数据只有输入X，这要求模型对X的特点进行提取并分析，其中聚集就是将特点相近的输入划为一类。
3.强化学习（Reinforcement learning）：其主要学习一个映射函数，一个模型。==举个例子，智能游戏中，输入为游戏中的各种数据，输出是游戏角色的动作，如何根据游戏数据得到动作的这一模型就是强化学习的主要内容。==不同于一般的机器学习，其训练有两个模型，一个是做出动作的Learner，另一个是评判动作的Critic。Learner根据Critic的评分去改善自己，Critic根据贝尔曼方程去改善自己。下图是强化学习的大体框架图。

4.机器学习的建模。
在机器学习领域，有一个简单记忆方法：机器学习就是λ（lambda），强化学习是mvp。其讲述的就是机器学习和强化学习的主要内容。先看机器学习=λ=lambda：
（1）l：loss，损失函数，用于计算预测值和标签值得差距。
（2）a：algorithm，优化算法，用于优化模型。
（3）m：model，模型，对实际问题建模。
（4）bd：big data，大数据，大量的训练数据。
（5）啊：application，应用，训练好的模型在应用上表现良好。
强化学习=mvp：
（1）m：Markov Decision Process，MDP，马尔可夫决策过程，learner做决策的主要依据。
（2）v：value，奖励，critic评分优化。
（3）p：policy，决策，learner决策优化。