【Mark Schmidt课件】机器学习中的最优化问题

本课件的4个目的：

1. 监督学习的机器学习技术概述与动机。Give an overview and motivation for the machine learning techniqueof supervised learning.

2. 概括了梯度法的收敛速率，用于解决线性系统中的一般光滑凸优化问题。Generalize convergence rates of gradient methods for solving linearsystems to general smooth convex optimization problems.

3. 介绍了求解一类特殊非光滑凸优化问题的最有效的算法之一——近似梯度算法。Introduce the proximal-gradient algorithm, one of the most efficientalgorithms for solving special classes of non-smooth convex optimizationproblems.

4. 介绍了随机梯度算法，用于解决数据量非常大的情况下的数据拟合问题。Introduce the stochastic-gradient algorithm, for solvingdata-fitting problems when the size of the data is very large.

机器学习是研究使用计算机自动检测数据中的模式（结构），并使用检测结果进行预测或决策。Study of using computers to automatically detect patterns in data,and use these to make predictions or decisions.

机器学习的成功应用领域包括：Kinect、书籍/电影推荐、垃圾邮件检测、信用卡欺诈检测、人脸识别、语音识别、目标识别、自动驾驶。Recent successes: Kinect, book/movie recommendation, spam detection,credit card fraud detection, face recognition, speech recognition, objectrecognition, self-driving cars.

有监督学习的特点：

1. 已知输入与输出的正确示例。Given input and output examples.

2. 建立一个模型来预测输入数据的输出。Build a model that predicts the output from the inputs.

3. 可以使用该模型来预测新输入数据的输出。You can use the model to predict the output on new inputs.

典型实例：手写数字识别

有监督学习的两个阶段：

1. 训练阶段：建立从输入特征映射到标签的模型。（前提是基于许多正确行为的例子，即训练数据）Training phase: build model that maps from input features to labels.(based on many examples of the correct behaviour)

2. 测试阶段：模型用于标记新的输入特征。Testing phase: modelis used to label new inputs.

一般来说，训练阶段可以认为是以下的优化问题：

数据拟合项：x与数据样本的拟合程度如何？

正则化：x的复杂度问题，简单的模型学习效果更好。

更多内容下载地址：

http://page2.dfpan.com/fs/4l1c3j02f2c1d279160/

更多精彩文章请关注微信号：