Black Box Machine Learning学习笔记

本文为Bloomberg的第一课，是100天机器学习挑战的Day15学习内容。

100天机器学习挑战汇总文章链接在这儿。

目录

1 ML

1.1 什么是ML

1.2 ML问题分类

2 Elements of the ML Pipeline

3 Evaluating a Prediction Function——损失函数

4 Other Sources of Test ≠ Deployment

4.1 Leakage

4.2 Sample Bias

4.3 Nonstationary

5 模型复杂度和过拟合

---

1 ML

1.1 什么是ML

rule-based问题不是ML：

ML的解决问题思路是：

1.2 ML问题分类

分类（hard/soft probabilistic）

多分类（hard/soft probabilistic）

回归

在统计学习中，有两种模型：概率模型和非概率模型；

概率模型：形式为P(x|y)，即在学习过程中，y未知，训练后模型得到的输出是x的一系列值的概率；

非概率模型：形式为决策函数，即输入x到输出y的一个映射，且输出唯一；

软分类：使用的是概率模型，输出不同类对应的概率，最后的分类结果取概率最大的类，如多SVM组合分类；

硬分类：使用的是非概率模型，分类结果就是决策函数的决策结果；

参考文章：https://blog.csdn.net/eternity1118_/article/details/51525702

2 Elements of the ML Pipeline

Feature Extraction 特征提取：

这里给出了一个例子，判断某个字符串是不是邮箱的地址，可以这样做特征提取：

一个更加syste