【COMP219 笔记4】

LEC 9 10 11

A general top-down algorithm

>> Step 3 ：Stopping criteria

>> Pruning and Validation Dataset 修建 并 验证 数据集

1. Pruning in C4.5

Split dataset into training set and validation(tuning) set(就像下图)

2. Overfitting 过度拟合

>>Overfitting会造成trainning error和expected error are different 因为：

1. Training data 里面会有noise（引起偏差的数据）

2. Training data 的数据规模有限，导致与真实数据有偏差

3. Hypothesis class 越大，那么能够显现出training data和真实数据的差异的hypothessis也越容易出现

个人理解：特征维度过多，导致模型过于复杂，参数过多，训练数据少，噪音过多，从而过度拟合训练数据造成的对训练集的预测准确度高，而对新数据的预测准度低 

>> 解决方法：1. 让training data 更多 2. 处理training data，保留更能体现业务逻辑的数据去构建决策树 3. 提前停止树的生长，或者让树长完全后通过某种规则去剪枝---其实就是先剪枝和后剪枝的区别，而判断什么时候剪枝（先剪枝）和剪什么枝（后剪枝）就要通过实际操作当场去验证了

Accuracy of Decision Tree

>> Accuracy and error

精准度(accuracy) = 模型的测试结果➗正确结果 

误差(error) 和精准度完全相反

K-Nearest-neighbor classification （KNN）

>> This is 1-n-n : 只是为了好理解

>> This is k-n-n

 >> Definition of similarity and distance

 我的理解就是X-n-n那么就选X数量的instances，例如这里是3-nn，那么就选择了3个instances，而下方的计算这个就是如果把y分类，其中和new instance相同的就是1，不同的就是0，最后哪个更大就选择哪个。比如这里no的计算出2>yes的1，所以这里的预测值是no

>> Distance 

 例：

Speeding up k-n-n

Choosing k : 增加k减少方差，增加偏差

（截止到LEC 11 p13）