人工智能基础复习5——学习

18 Learning-1

Outline

机器学习概述

监督学习

    决策树学习

    线性预测

    支持向量机

无监督学习

学习

学习对于未知的环境是必要的，即当设计者缺少全知时

学习作为一个系统构建方法是有效的，即将Agent置于现实当中，而不是尝试去把它写下来

学习修改了Agent的决策机制来提高其性能

学习Agent

学习元素

设计一个学习的元素被以下所影响：

性能元素的哪些部件被学习

学习这些部件能得到什么反馈

部件的表示方法是什么

机器学习

搜索引擎、垃圾邮件检测、机器翻译、人脸识别等

为什么需要机器学习

解决分类问题

学习数据的模型

理解和提高人类学习的效率

发现人类未知的新的事务或结构

大数据：网络数据、医疗数据、生物数据…

手工分析的代价太大

计算机更廉价但越来越强大

不能手工对应用进行编程：无人驾驶、手写识别、自然语言处理、计算机视觉

自动语音识别；

计算机视觉，如物体、脸部和手写识别等

信息检索：对一个大的文本数据库进行阅读、摘要和归类对人类来说难度太大；网页：检索、分类、聚类、网页间关系

金融预测

医学诊断

生物信息学：对基因微阵列进行建模，蛋白质结构预测

机器人技术

电影推荐系统：提高电影偏好预测精度

机器学习

机器学习是一个交叉学科的领域，着重于研究具有学习、推理和行动的系统所需要的数学基础以及实际应用

其他相关名词：模式识别、神经网络、数据挖掘、统计模型等

思想来源于：统计学、计算机科学、工程学、应用数学、认知科学、心理学、计算神经学、经济学

课程目标：介绍机器学习中重要的概念、模型和算法

定义：一个计算机程序从关于任务T的经验E中学习，性能指标为P

对于垃圾邮件的例子，任务T是分类邮件为垃圾邮件或不是垃圾邮件，经验E是观察你标注邮件是否为垃圾邮件，性能指标为对垃圾邮件分类的正确数

学习的类型

一个Agent或机器接受一系列的传感器输入x1,x2,x3,x4,...

监督学习：机器同时还给了目标输出y1,y2,...，它的目标是通过学习来对一个新的输入给出正确的输出结果

无监督学习：输出未给，Agent仍旧需要对x建立可以用来推理、作出决策、预测和交流的模型

半监督学习

机器学习中的对象表示

一个实例x，表示一个特殊的对象

x通常用一个d维的特征向量x=(x1,...,xd)∈R^d来表示

每一维称为特征或者属性

连续或者离散

x在d维特征空间中是一个点

对对象进行抽象，忽视其他任何方面

特征向量表示

文本文档

词汇大小 d(~100,000)

"bag of words"：每个词汇条目的数目

通常去除停用词：the, of, at, in, ...

特殊的“out-of-vocabulary"(OOV)条目捕获所有不认识的单词

图像：像素、颜色柱状图

软件：Execution profile:the number of times each line is executed

银行账户：信用评估、余额、上次存款、星期、月份、年、提款...

你和我：医疗测试1,测试2,...

关键组成部分

数据：数据集D包含了N个数据点，D = {x1,x2,...,xN}

预测：我们通常喜欢基于观测数据集对某些事务进行预测，给定D，能预测xN+1么？

模型：为了做决策，我们需要做一些假设，我们可以将这些假设表示为一个模型，同时带有一些参数

给定数据D，我们学习模型参数，从中我们可以预测新的数据点

特征抽取→模型参数学习

学习问题

房价预测：监督学习：正确答案给定；回归：预测连续的输出值（价格）

乳腺癌（恶性、良性）：监督学习：正确答案给定；分类：预测离散输出值

18 Learning-2

监督学习

输入数据空间X

输出（标签、目标）空间Y

未知函数 f : X → Y

我们给定了一个标记样例的集合(xi,yi),i=1,...,N,xi∈X,yi∈Y

有限Y => 分类(classification)

连续Y => 回归(regression)

分类

给定一个集合，包含N个观察数据{(xi,yi)}i=1..N

需要映射x∈X到一个标记y∈Y

例如：数字识别Y={0,...,9} ；从微阵列数据中预测Y={desease present / absent}

决策树

学习决策树

问题：在饭店中是否等待餐桌，基于下列属性：

1.Alternate：附近是否有一个合适的候选饭店

2.Bar：饭店中是否有舒适的酒吧等待区

3.Fri/Sat：今天是否是星期五或星期六

4.Hungry：是否饿了

5.Patrons：饭店中有多少客人（None,Some,Ful