机器学习期末考试复习

 
 

一、KNN分类算法与K-means聚类算法

聚类算法的过程：

二、在正则化时不同范数之间的区别

• L1范数正则化会让参数向量的许多元素趋向于0，使得大部分特征失去对优化目标的贡献，是让有效特征变得稀疏（sparse）的L1正则化。（Lasso）

• L2范数正则化的结果会让参数向量中的大部分元素都变得很光滑（smooth），压制了参数之间的差异性。（Ridge）

三、监督学习与非监督学习有哪些

监督学习	无监督学习
KNN算法	聚类算法（最经典，包括很多聚类算法）
线性回归算法（Linear Regression）	主成分分析 (PCA)
逻辑回归算法（Logistic Regression）	高斯混合模型
支持向量机（Support Vector Machine）
决策树和随机森林（Decision Tree and Random Forests）
神经网络（Neural Network）

四、高偏差（Bias）与高方差（Variance）

4.1 诊断偏差与方差（Diag