机器学习笔记：常见算法+机器学习分类和实现步骤

机器学习

机器学习算法

• 线性回归（回归问题）
• 逻辑回归（分类问题）
• 决策树
• 支持向量机
• 贝叶斯分类器
• 神经网络
  • 深度学习
• 聚类算法

常见算法

KNN

分类算法

1. 计算target_feat和db_feats距离dists
2. 距离从小到大排序
3. 取前K个

K-Means

聚类算法

1. 定义 K 个重心
2. 寻找最近的重心并且更新聚类分配。将每个数据点都分配给这 K 个聚类中的一个。每个数据点都被分配给离它们最近的重心的聚类。这里的「接近程度」的度量是一个超参数——通常是欧几里得距离（Euclidean distance）。
3. 将重心移动到它们的聚类的中心。每个聚类的重心的新位置是通过计算该聚类中所有数据点的平均位置得到的。

回归算法

【机器学习】9种回归算法及实例，值得收藏！

• 线性回归
• 多项式回归
• 支持向量机回归
• 决策树回归
• 随机森林回归
• LASSO 回归
• Ridge 回归
• ElasticNet 回归
• XGBoost 回归

其余资料

机器学习随笔——分类与回归的联系与区别

机器学习分类

• 监督学习
  • 分类任务
  • 回归任务
• 无监督学习
  • 聚类任务
  • 降维
    • PCA
    • SVD
• 半监督学习
• 强化学习

机器学习实现步骤

选择模型

1. 确认解决问题的类型，例如：分类、回归、…
2. 根据问题的类型选择合适的模型

模型训练

1. 准备数据
2. 特征缩放
3. 初始化模型参数
4. 确定损失函数
5. 优化算法更新模型参数
6. 迭代模型到预期效果

输出结果

1. 模型评估：测试集评估数据
2. 性能指标
3. 优化：调整模型提升预期效果
4. 部署：训练好的模型到实际应用进行预测或决策