这篇博客详细介绍了机器学习的基础概念，包括线性回归的梯度下降法及其变形、模型评价、正则化和不同类型的回归求解。接着，讨论了逻辑回归、决策树算法如ID3和C4.5，以及贝叶斯决策和支持向量机。还涵盖了聚类方法如k均值和层次聚类，主成分分析以及集成学习中的硬投票分类器和提升法。
1 线性回归
时间：2022.04.29
形式化定义
假设函数（hypotheses function）
损失函数（loss function）
代价函数（cost function）
梯度下降法
使用梯度下降法求解，使代价函数损失值最小
梯度下降算法变形
1、批量梯度下降 ，在数据集比较多的情况下，速度会比较慢
2、随机梯度下降，每次参考一个样本，下降的方向会震荡
3、小批量梯度下降是介于上面两种之间
线性回归-模型评价
1、均方误差MSE
2、均方根误差RMSE
3、平均绝对误差MAE
欠拟合和过拟合
正则化
岭回归求解
LASSO回归求解
最小二乘法
最低0.47元/天 解锁文章
233
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
