机器学习三要素：数据、模型、算法

二 机器学习三要素：数据、模型、算法

算法通过在数据上进行运算产生模型

特征工程：
1.确定用哪些特征来表示数据；
2.确定用什么方式表达这些特征。

模型是机器学习的结果，这个学习过程，称为训练（Train）一个已经训练好的模型，可以被理解成一个函数： y=f(x)。
输出结果可能是一个数值（回归），也可能是一个标签（分类）
模型是基于数据，经由训练得到的。
训练就是：根据已经被指定的 f(x) 的具体形式——模型类型，结合训练数据，计算出其中各个参数的具体取值的过程。
训练过程需要依据某种章法进行运算。这个章法，就是算法
有监督学习的目标就是：让训练数据的所有 x 经过 f(x) 计算后，获得的 y’ 与它们原本对应的 y 的差别尽量小。
我们需要用一个函数来描述 y’ 与 y 之间的差别，这个函数叫做损失函数（Loss Function）L（y, y’）= L(y, f(x))。
Loss 函数针对一个训练数据，对于所有的训练数据，我们用代价函数（Cost Function）来描述整体的损失。

代价函数一般写作：J（theta）——注意，代价函数的自变量不再是 y 和 f(x)，而是变成了 theta，theta 表示 f(x) 中所有待定的参数（theta 也可以是一个向量，每个维度表示一个具体的参数）

因此，我们也就有了学习的目标（也称为目标函数）：argmin J（theta）—— 最小化J（theta）

怎么能够找到让 J（theta） 最小的 theta 呢？这就需要用到优化算法了。
具体的优化算法有很多，比如：梯度下降法（Gradient Descent）、共轭梯度法（Conjugate Gradient）、牛顿法和拟牛顿法、模拟退火法（Simulated Annealing） 等等。

最常用的是梯度下降法

算法工程师的职责包括：研发新算法；针对现实问题构造目标函数，选取并优化算法求解；将他人研究的最新算法应用到自己的业务问题上

要得到高质量的模型，算法很重要，但往往（尤其是在应用经典模型时）更重要的是数据。