机器学习！

**

机器学习、深度学习能做什么

**
传统预测：店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句安全检测分类
图像识别：街道交通标志检测、人脸识别
自然语言处理：文本分类、情感分析、自动聊天、文本检测

**机器学习算法分类

监督学习：预测**

定义：输入数据是由输入特征和目标值所组成，函数的输出可以是一个连续的值，称为回归；也可以是一个离散的值，称为分类
分类：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归
回归：线性回归、岭回归
无监督学习

定义：输入数据是由输入特征值组成
聚类：k-means

数据集的划分
机器学习一般的数据集会划分为两个部分：

训练数据：用于训练，构建模型
测试数据：在模型检验时使用，用于评估模型是否有效
划分比例：

训练集：70%、80%
测试集：30%、20%

**

特征工程介绍

**
为什么需要特征工程
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已

什么是特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程
意义：会直接影响机器学习的效果

特征工程的位置与数据处理的比较
pandas：一个数据读取非常方便以及基本的处理格式的工具
sklearn：对于特征的处理提供了强大的接口
特征工程包含内容：
特征抽取/特征提取
特征预处理
特征降维

特征提取

**
什么是特征提取
1 将任意数据（如文本或图像）转换为可用于机器学习的数字特征
注：特征值是为了计算机更好的去理解数据

字典特征提取（特征离散化）
文本特征提取
图像特征提取（深度学习再介绍）

特征预处理

什么是特征预处理
通过一些转换函数，将特征数据转换成更适合算法模型的特征数据的过程

数值数据的无量纲化：

归一化
标准化
为什么要进行归一化/标准化？

特征的单位或者大小相差较大，或者某特征的方法相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征
归一化
定义
通过对原始的数据进行变换把数据映射到 默认为[0,1]之间

如果有异常值会有什么影响
异常值：最大值，最小值
归一化总结
注意最大值最小值是变化的，另外，最大值与最小值非常容易受到异常值影响，
所以这种方法鲁棒性较差，只适合传统精确小数据场景

标准化
1 定义
通过对原始数据进行变换把数据变换到均值为0，标准差为1的范围内

对于归一化来说：如果出现异常点，影响了最大值和最小值，name结果显然会发生改变
对于标准化来说，如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响不大，从而方差改变较小

标准化总结
在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景