黑马机器学习笔记（一）

机器学习算法分类

目标值是类别（离散）--------分类问题（监督学习）
目标值是连续数据--------------回归问题（监督学习）
没有目标值--------------------无监督学习

1、预测明天的气温是多少度?回归
2、预测明天是阴、晴还是雨?分类
3、人脸年龄预测?回归/分类
4、人脸识别?分类

分类：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归
回归：线性回归、岭回归

机器学习开发流程

1获取数据
2数据处理
3特征工程
4使用机器学习算法训练
5模型评估

学习资料、框架介绍

算法是核心，数据和计算是基础
下面这本深度学习就是花书

可用数据集

数据集由特征值和目标值构成
sklearn kaggle ,这些网站上有很多可以用的数据集

Python语言的机器学习工具
Scikit-learn包括许多知名的机器髓习算法的实现
Scikit-learn文档完善，容易上手，丰富的API

sklearn数据集使用

sklearn可以引入数据集，还可以设置训练集和测试集的比例
sklearn.model_selection.train_test_split(arrays， "options)

小规模数据集用load，大规模数据集用fetch ,返回值都是bunch类型，bunch继承自字典类型，我们可以用字典的方式获取到相应的键值对，也可以用.访问属性

特征工程

注:业界广泛流传:数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。
sklearn特征工程
pandas数据清洗、数据处理

字典特征抽取(特征提取)

1将任意数据（如文本或图像）转换为可用于机器学习的数字特征
下图把字典提取为二维数组

文本特征提取

统计每个样本特征词出现的次数，单个的字母（i）不作为特征

中文文本特征抽取.

特征抽取不支持单个中文字，因为单个字不具区分意义

自动粉刺用的 jieba库


上面是字符，但是我们需要字符串

stop_words表示不提取这个特征

文本特征抽取：TfidfVectorizer

关键词:在某一个类别的文章中，出现的次数很多，但是在其他类别的文章当中出现很少，可以使用TfidfVectorizer

5 Tf-idf文本特征提取
TF-IDF的主要思想是：如果某个词或短语在一篇文章中出现的概率高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
TF-IDF作用：用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
5.1 公式
词频（term frequency，tf）指的是某一个给定的词语在该文件中出现的频率
逆向文档频率（inverse document frequency，idf）是一个词语普遍重要性的度量。某一特定词语的idf，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取以10为底的对数得到

最终得出结果可以理解为重要程度。
注：假如一篇文件的总词语数是100个，而词语"非常"出现了5次，那么"非常"一词在该文件中的词频就是5/100=0.05。而计算文件频率（IDF）的方法是以文件集的文件总数，除以出现"非常"一词的文件数。所以，如果"非常"一词在1,000份文件出现过，而文件总数是10,000,000份的话，其逆向文件频率就是lg（10,000,000 / 1,0000）=3。最后"非常"对于这篇文档的tf-idf的分数为0.05 * 3=0.15

特征预处理

定义：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
数值型数据的无量纲化：
归一化
标准化
为什么我们要进行归一化/标准化？
答：特征的单位或者大小相差较大，或者某特征的方差相比其他的特征要大出几个数量级，容易影响（支配）目标结果，使得一些算法无法学习到其它的特征

例如：约会对象数据
比如我们计算欧氏距离

如果不归一化处理，那么里程对欧式距离的影响是远远的大于其他的特征的
我们需要用到一些方法进行无量纲化，使不同规格的数据转换到同一规格

归一化：通过对原始数据进行变换把数据映射到(默认为[0,1])之间

标准化
注意最大值最小值是变化的，另外，最大值与最小值非常容易受异常点影响，所以这种方法鲁棒性较差，只适合传统精确小数据场景。
于是提出了标准化，通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内

对于归一化来说：如果出现异常点，影响了最大值和最小值，那么结果显然会发生改变
对于标准化来说：如果出现异常点，由于具有一定数据量，少量的异常点对于平均值的影响并不大，从而方差改变较小。
标准化总结:在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景

降维

降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程（有相关的就冗余了）
维数:嵌套的层数
0维标量
1维向量
2维矩阵
3维
n维

降维的2种方式
特征选择
主成分分析（可以理解一种特征提取的方式）

什么是特征选择

定义：数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。
是否有爪子，是否有眼睛就是冗余特征
以下是找出冗余特征的方法
相关系数衡量特征与特征之间的相关程度

主成分分析

目标：应用PCA实现特征的降维
应用：用户与物品类别之间主成分分析
什么是主成分分析(PCA)
定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
应用：回归分析或者聚类分析当中