机器学习期末考试复习

二、在正则化时不同范数之间的区别

===================================================================================

• L1范数正则化会让参数向量的许多元素趋向于0，使得大部分特征失去对优化目标的贡献，是让有效特征变得稀疏（sparse）的L1正则化。（Lasso）

• L2范数正则化的结果会让参数向量中的大部分元素都变得很光滑（smooth），压制了参数之间的差异性。（Ridge）

三、监督学习与非监督学习有哪些

==================================================================================

| 监督学习 | 无监督学习 |

| — | — |

| KNN算法 | 聚类算法（最经典，包括很多聚类算法） |

| 线性回归算法（Linear Regression） | 主成分分析 (PCA) |

| 逻辑回归算法（Logistic Regression） | 高斯混合模型 |

| 支持向量机（Support Vector Machine） | |

| 决策树和随机森林（Decision Tree and Random Forests） | |

| 神经网络（Neural Network） | |

四、高偏差（Bias）与高方差（Variance）

============================================================================================

4.1 诊断偏差与方差（Diagnosing bias vs. variance）

---

• 偏差：可以用模型预测的误差，用以描述模型的预测精度；

• 方差：是每轮预测误差的范围（比如我第一次的得到的误差是0.5，第二次为1，那么方差就太大了），用以描述模型的稳定性。

4.2 从训练集和验证集上看是高偏差还是高方差的原因

---

如上图所示，左边的一点表明训练集的误差与验证集的误差相当，说明是高偏差的缘故，右边的一点表明验证集的误差比训练集的误差要大很多，说明是高方差的缘故。

4.3 当知道是高方差（过拟合）还是高偏差（欠拟合）的原因后，就可以知道用什么方法来解决。

---

• 什么是过拟合与欠拟合：简单来说，欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况；过拟合是指模型在训练集上表现很好，到了验证和测试阶段就大不如意了，即模型的泛化能力很差。

• 解决过拟合：增加训练数据集；使用正则化约束；减少特征数；调节参数和超参数；降低模型复杂度；提前结束训练（early stopping）；使用 Dropout。

• 解决欠拟合：增加特征数；调节参数和超参数；增加模型复杂度；降低正则化约束。

4.4 出现不同的问题时，解决途径是不同的，如果用错了方法，有可能会得到相反的效果。

---

• If a learning algorithm is suffering from high bias, getting more training data will not help much.

• If a learning algorithm is suffering from high variance, getting more training data is likely to help.

4.5选择正则化参数的方法

---

如下图，通过在训练集上测得损失函数最小的参数，并把它们放在交叉训练集上验证。表明到当正则化参数为0.08时效果最好。

4.6 高偏差与欠拟合，高方差与过拟合的关系

---

五、支持向量机（Support Vector Machine）

==================================================================================================

六、降维处理

=========================================================================

6.1 为什么需要降维处理

---

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

Java架构进阶面试及知识点文档笔记

这份文档共498页，其中包括Java集合，并发编程，JVM，Dubbo,Redis，Spring全家桶，MySQL，Kafka等面试解析及知识点整理

Java分布式高级面试问题解析文档

其中都是包括分布式的面试问题解析，内容有分布式消息队列，Redis缓存，分库分表，微服务架构，分布式高可用，读写分离等等！

互联网Java程序员面试必备问题解析及文档学习笔记

Java架构进阶视频解析合集
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！
互联网Java程序员面试必备问题解析及文档学习笔记**

[外链图片转存中…(img-rTiUc1ki-1712476566661)]

Java架构进阶视频解析合集
《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》，点击传送门即可获取！