数据分析与机器学习学习笔记--常见知识总结

1.引言

      最近一段心血来潮自学了数据分析与机器学习，在学习的过程中犯过许多错误以及对部分知识的错误理解，所以决定自己瞎写几篇博客总结自己的错误并且回顾学过的算法，同时希望自己的总结能帮一些同样是想要入门学习的人少走弯路，话不多说，接下来就是一些常用的数据处理方式和容易混淆的概念。

2.损失函数（lost）、代价函数（cost）和目标函数（obj）

      机器学习的每个算法都离不开标题所写的三个函数，但是在许多资料中对于损失函数和代价函数没有进行明确的定义，导致二者存在混用的情况，有些作者将lost与cost当作一个函数，但是本质上二者不是完全一样的，在 Coursera：Neural Networks and Deep Learning 课程中，Andrew Ng 给出的解释如下：

The loss function computes the error for a single training example; the cost function is the average of the loss funcitons of the entire training set.

我在查阅了一些资料后总结如下：

 

•       损失函数（lost）：计算单个样例的损失/误差
•       代价函数（cost）：计算总样本的平均损失/误差
•       目标函数（obj）：这个函数就厉害了，是我们最终要优化的函数，此处要牵扯出了经验损失和结构损失