机器学习概述

常见机器学习任务
数据
数据通常以二维数据形式给出
– 每一行:一个样本
– 每一列:一个 属性/特征
例:纽约公寓租赁数据

监督学习
学习到一个 x->y的映射,从而对数输入的 x进行预测
- 训练数据中包含要预测的标签
- 标签在训练数据中是可见变量
- 函数逼近
- 包含 分类、回归(线性回归)、决策树(非线性)、排序
(样本函数,输入及输出)
非监督学习
发现数据中“有意思的模式”,是知识的发现
- 训练集中不包含标签
- 标签在训练集中是隐含变量
- 聚类、降纬、概率密度估计
(样本函数,只有输入没有输出y,因为y需要自己预测)
增强学习
增强学习: 从行为的反馈(奖励或惩罚)中学习
- 设计一个回报函数(reward function),如果learning agent(如机 器人、回棋AI程序)在决定一步后,获得了较好的结果,那么我 们给agent一些回报(比如回报函数结果为正),得到较差的结果, 那么回报函数为负
–  增强学习的任务:找到一条回报值最大的路径

监督学习——分类
学习从输入 x到输出y之间的映射函数
(分类函数,函数逼近)
- armax代表根据x预测y标签概率最大时y的值,参照: https://baike.baidu.com/item/argmax/6034072?fr=aladdin
- 给定训练数据D和输入x的情况下,输出为c的条件最大概率( 代指最佳训练模型
- y为离散值

如信用评级的例子:
输入值:
监督学习——回归
学习从输入 x到输出y之间的映射函数
(分类函数)
- y属于线性数据
如预测二手车价格的例子
- 输入/协变量x:车辆属性
- 输出y: 车子价格

非监督学习——聚类
(分类函数)
训练完成后会生成K*个类别
获取样本所属类别,i代表第i个样本所属于的类别,为隐含变量

半监督学习:根据带标签数据及不带标签数据进行分类
如:标记3D姿态

机器学习入门案例:波士顿房价预测

尝试一:假定房价与输入特征之间是线性关系
分类函数:

在线性回归模型中w为模型参数
一个特征属性:LSTAT
y=-0.73726292*LSTAT
训练集上性能:0.52929733(我们把>=0.6以上结果表示拟合)
测试集上性能:0.54355661
测试结果: 欠拟合训练集上的性能和测试集上性能都不好,且二者差 异不大

二个特征属性:LSTAT、RM
y = 0.40574 * RM - 0.49767371 * LSTAT
• 训练集上性能:0. 65077857
• 测试集上性能:0.55982473

所有特征属性
y = -0.08508323 ́CRIM+...0.36499271 ́RM+...-0.39541583 ́LSTAT
训练集上性能:0. 74514483
测试集上性能:0.69029595

使用11个特征
使用特征: CRIM、ZN、INDUS、CHAS、NOX、RM、 DIS、RAD、TAX、PTRATIO、B、LSTAT
– 去掉INDUS和AGE特征
模型为:
y = -0.07849129 ́CRIM+...0.31939438 ́RM+...-0.43518032 ́LSTAT
训练集上性能:0. 74076715
测试集上性能:0.69173467
特征多不一定准确率高

尝试二:决策树(输入特征与房价为非线性关系)
树的最大深度max_depth:1~10
10折交叉验证结果:

机器学习任务的一般步骤
模型
对给定的输入x,如何预测其标签y
- 不同模型对数据的假设不同
- 最简单的模型线性模型
- 确定模型类别后,模型训练转化为求解模型 参数
求解模型参数wj:目标函数最小化(即wj 最小?)

目标函数( 重点
目标函数通常包含两项:损失函数和正则项,目前尚不清楚它存在的意义
损失函数——回归
损失函数——分类
正则项
常用正则函数
常见线性模型的损失和正则项组合

非线性模型
模型训练
模型选择与模型评估

K折交叉验证
模型选择

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

e421083458

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值