LEC 9 10 11
A general top-down algorithm
>> Step 3 :Stopping criteria
>> Pruning and Validation Dataset 修建 并 验证 数据集
1. Pruning in C4.5
Split dataset into training set and validation(tuning) set(就像下图)
2. Overfitting 过度拟合
>>Overfitting会造成trainning error和expected error are different 因为:
1. Training data 里面会有noise(引起偏差的数据)
2. Training data 的数据规模有限,导致与真实数据有偏差
3. Hypothesis class 越大,那么能够显现出training data和真实数据的差异的hypothessis也越容易出现
个人理解:特征维度过多,导致模型过于复杂,参数过多,训练数据少,噪音过多,从而过度拟合训练数据造成的对训练集的预测准确度高,而对新数据的预测准度低
>> 解决方法:1. 让training data 更多 2. 处理training data,保留更能体现业务逻辑的数据去构建决策树 3. 提前停止树的生长,或者让树长完全后通过某种规则去剪枝---其实就是先剪枝和后剪枝的区别,而判断什么时候剪枝(先剪枝)和剪什么枝(后剪枝)就要通过实际操作当场去验证了
Accuracy of Decision Tree
>> Accuracy and error
精准度(accuracy) = 模型的测试结果➗正确结果
误差(error) 和精准度完全相反
K-Nearest-neighbor classification (KNN)
>> This is 1-n-n : 只是为了好理解
>> This is k-n-n
>> Definition of similarity and distance
我的理解就是X-n-n那么就选X数量的instances,例如这里是3-nn,那么就选择了3个instances,而下方的计算这个就是如果把y分类,其中和new instance相同的就是1,不同的就是0,最后哪个更大就选择哪个。比如这里no的计算出2>yes的1,所以这里的预测值是no
>> Distance
例:
Speeding up k-n-n
Choosing k : 增加k减少方差,增加偏差
(截止到LEC 11 p13)