监督学习初步---线性分类器

1. Introduction

---

监督学习(supervised learning):粗糙的说就是需要利用输入值来预测输出.

变量解释:

$X$:输入变量
$Y$:定量输出
$G$:定性输出,$G\in \mathcal{G}$
$x_i$:$X$的第$i$个观测值
$\mathbb {X}$:矩阵

Example 1. Handwritten Digit Recognition

目标为预测给定图中的数字,其中$\mathcal{G}=\{0,1,2,...,9\}$.

部分样本如下图:

---

2. Linear models and OLS

---

2.1 模型简介

---

输入向量$X^{T}=(X_1,...X_p)$,预测输出

$$\hat Y=\hat\beta_0+\sum_{j=1}^{p}X_j\hat\beta_j=X^{T}\beta$$

利用最小二乘(OLS)估计 β