机器学习基础(1) 概述

机器学习基础(1) 概述

机器学习概述

机器学习：通过已有的数据, 对未来进行预测的原则，方法和算法。
机器学习的任务：构建模型 $y = f(x, \omega)$
　1. $y$:输出
　2. $x$:输入
　3. $\omega$:需要学习的参数

分类和回归

　回归（classification）：输出$y$是连续的。
　分类（regression）：输出$y$是离散的。

有监督学习和无监督学习

　有监督学习（supervised learning）： 训练集有类别标记(class label)
　无监督学习（unsupervised learning）： 无类别标记(class label)
　半监督学习（semi-supervised learning）：有类别标记的训练集，无标记的训练集

线性回归问题定义

训练集合（training set）$X = \{\vec{x}^{(1)}, \vec{x}^{(2)}, ...,\vec{x}^{(N)} \}$ 和对应的目标数值集合 $T = \{ t^{(1)}, t^{(2)}, ..., t^{(N)}\}$。其中$\vec{x}^{(i)}$表示训练集合中的第i个训练数据（training data）或者训练样本，用向量来表示，因为一个样本可以有多个维度（特征）。$\vec{x}_{j}^{(i)}$表示第i个训练样本的第j个特征。
回归问题的任务：学习一个连续函数$y (x)$，对新的输入$x$做出预测$y(x)$

误差函数

误差平方和（sum of square error）：

$$E(w) = \frac{1}{2} \sum_{n =1}^{N}\{y(\vec{x}^{(n)}, \omega) - t^{(n)}\}$$

以上内容是基于Christopher M. Bishop的《Pattern Recognition and Machine Learning》部分内容。由于时间原因，更新为不定期。目前内容不全。