第一天 机器学习概述和特征工程
课堂纪要
人工智能阶段
机器学习 三天
深度学习 三天
量化交易 四天
传统的机器学习算法
机器学习概述、特征工程 1天
分类算法 1天
回归算法、聚类 1天
机器学习概述
1.1 人工智能概述
达特茅斯会议-人工智能的起点
机器学习是人工智能的一个实现途径
深度学习是机器学习的一个方法发展而来
1.1.2 机器学习、深度学习能做些什么
传统预测
图像识别
自然语言处理
1.2 什么是机器学习
数据
模型
预测
从历史数据当中获得规律？这些历史数据是怎么的格式？
1.2.3 数据集构成
特征值 + 目标值
1.3 机器学习算法分类
监督学习
目标值：类别 - 分类问题
k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归
目标值：连续型的数据 - 回归问题
线性回归、岭回归
目标值：无 - 无监督学习
聚类 k-means
1、预测明天的气温是多少度？ 回归
2、预测明天是阴、晴还是雨？ 分类
3、人脸年龄预测？ 回归/分类
4、人脸识别？ 分类
1.4 机器学习开发流程
1）获取数据
2）数据处理
3）特征工程
4）机器学习算法训练 - 模型
5）模型评估
6）应用
1.5 学习框架和资料介绍
1）算法是核心，数据与计算是基础
2）找准定位
3）怎么做？
1、入门
2、实战类书籍
3、机器学习 -”西瓜书”- 周志华
统计学习方法 - 李航
深度学习 - “花书”
4）1.5.1 机器学习库与框架
特征工程
2.1 数据集
2.1.1 可用数据集
公司内部 百度
数据接口 花钱
数据集
学习阶段可以用的数据集：
1）sklearn
2）kaggle
3）UCI
1 Scikit-learn工具介绍
2.1.2 sklearn数据集
sklearn.datasets
load_* 获取小规模数据集
fetch_* 获取大规模数据集
2 sklearn小数据集
sklearn.datasets.load_iris()
3 sklearn大数据集
sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)
4 数据集的返回值
datasets.base.Bunch（继承自字典）
dict["key"] = values
bunch.key = values
思考：拿到的数据是否全部都用来训练一个模型？
2.1.3 数据集的划分
训练数据：用于训练，构建模型
测试数据：在模型检验时使用，用于评估模型是否有效
测试集 20%~30%
sklearn.model_selection.train_test_split(arrays, *options)
训练集特征值，测试集特征值，训练集目标值，测试集目标值
x_train, x_test, y_train, y_test
2.2 特征工程介绍
算法 特征工程
2.2.1 为什么需要特征工程(Feature Engineering)
2.2.2 什么是特征工程
sklearn 特征工程
pandas 数据清洗、数据处理
特征抽取/特征提取
机器学习算法 - 统计方法 - 数学公式
文本类型 -》 数值
类型 -》 数值
2.3.1 特征提取
sklearn.feature_extraction
2.3.2 字典特征提取 - 类别 -> one-hot编码
sklearn.feature_extraction.DictVectorizer(sparse=True,…)
vector 数学：向量 物理：矢量
矩阵 matrix 二维数组
向量 vector 一维数组
父类：转换器类
返回sparse矩阵
sparse稀疏
将非零值 按位置表示出来
节省内存 - 提高加载效率
应用场景：
1）pclass, sex 数据集当中类别特征比较多
1、将数据集的特征-》字典类型
2、DictVectorizer转换
2）本身拿到的数据就是字典类型
2.3.3 文本特征提取
单词 作为 特征
句子、短语、单词、字母
特征：特征词
方法1：CountVectorizer
统计每个样本特征词出现的个数
stop_words停用的
停用词表
关键词：在某一个类别的文章中，出现的次数很多，但是在其他类别的文章当中出现很少
方法2：TfidfVectorizer
TF-IDF - 重要程度
两个词 “经济”，“非常”
1000篇文章-语料库
100篇文章 - "非常"
10篇文章 - “经济”
两篇文章
文章A(100词) : 10次“经济” TF-IDF:0.2
tf:10/100 = 0.1
idf:lg 1000/10 = 2
文章B(100词) : 10次“非常” TF-IDF:0.1
tf:10/100 = 0.1
idf: log 10 1000/100 = 1
对数？
2 ^ 3 = 8
log 2 8 = 3
log 10 10 = 1
TF - 词频（term frequency，tf)
IDF - 逆向文档频率
特征预处理
2.4.1 什么是特征预处理
为什么我们要进行归一化/标准化？
无量纲化
2.4.2 归一化
异常值：最大值、最小值
2.4.3 标准化
(x - mean) / std
标准差：集中程度
应用场景：
在已有样本足够多的情况下比较稳定，适合现代嘈杂大数据场景。
特征降维
2.5.1 降维 - 降低维度
ndarray
维数：嵌套的层数
0维 标量
1维 向量
2维 矩阵
3维
n维
二维数组
此处的降维：
降低特征的个数
效果：
特征与特征之间不相关
2.5.1 降维
特征选择
Filter过滤式
方差选择法：低方差特征过滤
相关系数 - 特征与特征之间的相关程度
取值范围：–1≤ r ≤+1
皮尔逊相关系数
0.9942
特征与特征之间相关性很高：
1）选取其中一个
2）加权求和
3）主成分分析
Embeded嵌入式
决策树 第二天
正则化 第三天
深度学习 第五天
主成分分析
2.6.1 什么是主成分分析(PCA)
sklearn.decomposition.PCA(n_components=None)
n_components
小数 表示保留百分之多少的信息
整数 减少到多少特征
2.6.2 案例：探究用户对物品类别的喜好细分
用户 物品类别
user_id aisle
1）需要将user_id和aisle放在同一个表中 - 合并
2）找到user_id和aisle - 交叉表和透视表
3）特征冗余过多 -> PCA降维
代码
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler, StandardScaler
from sklearn.feature_selection import VarianceThreshold
from sklearn.decomposition import PCA
from scipy.stats import pearsonr
import jieba
import pandas as pd
def datasets_demo():
"""
sklearn数据集使用
:return:
"""
# 获取数据集
iris = load_iris()
print("鸢尾花数据集：\n", iris)
print("查看数据集描述：\n", iris["DESCR"])
print("查看特征值的名字：\n", iris.feature_names)
print("查看特征值：\n", iris.data, iris.data.shape)
# 数据集划分
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=22)
print("训练集的特征值：\n", x_train, x_train.shape)
return None
def dict_demo():
"""
字典特征抽取
:return:
"""
data = [{'city': '北京','temperature':100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature':30}]
# 1、实例化一个转换器类
transfer = DictVectorizer(sparse=True)
# 2、调用fit_transform()
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray(), type(data_new))
print("特征名字：\n", transfer.get_feature_names())
return None
def count_demo():
"""
文本特征抽取：CountVecotrizer
:return:
"""
data = ["life is short,i like like python", "life is too long,i dislike python"]
# 1、实例化一个转换器类
transfer = CountVectorizer(stop_words=["is", "too"])
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def count_chinese_demo():
"""
中文文本特征抽取：CountVecotrizer
:return:
"""
data = ["我 爱 北京 天安门", "天安门 上 太阳 升"]
# 1、实例化一个转换器类
transfer = CountVectorizer()
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def cut_word(text):
"""
进行中文分词："我爱北京天安门" --> "我 爱 北京 天安门"
:param text:
:return:
"""
return " ".join(list(jieba.cut(text)))
def count_chinese_demo2():
"""
中文文本特征抽取，自动分词
:return:
"""
# 将中文文本进行分词
data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
# print(data_new)
# 1、实例化一个转换器类
transfer = CountVectorizer(stop_words=["一种", "所以"])
# 2、调用fit_transform
data_final = transfer.fit_transform(data_new)
print("data_new:\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def tfidf_demo():
"""
用TF-IDF的方法进行文本特征抽取
:return:
"""
# 将中文文本进行分词
data = ["一种还是一种今天很残酷，明天更残酷，后天很美好，但绝对大部分是死在明天晚上，所以每个人不要放弃今天。",
"我们看到的从很远星系来的光是在几百万年之前发出的，这样当我们看到宇宙时，我们是在看它的过去。",
"如果只用一种方式了解某样事物，你就不会真正了解它。了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"]
data_new = []
for sent in data:
data_new.append(cut_word(sent))
# print(data_new)
# 1、实例化一个转换器类
transfer = TfidfVectorizer(stop_words=["一种", "所以"])
# 2、调用fit_transform
data_final = transfer.fit_transform(data_new)
print("data_new:\n", data_final.toarray())
print("特征名字：\n", transfer.get_feature_names())
return None
def minmax_demo():
"""
归一化
:return:
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
data = data.iloc[:, :3]
print("data:\n", data)
# 2、实例化一个转换器类
transfer = MinMaxScaler(feature_range=[2, 3])
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new)
return None
def stand_demo():
"""
标准化
:return:
"""
# 1、获取数据
data = pd.read_csv("dating.txt")
data = data.iloc[:, :3]
print("data:\n", data)
# 2、实例化一个转换器类
transfer = StandardScaler()
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new)
return None
def variance_demo():
"""
过滤低方差特征
:return:
"""
# 1、获取数据
data = pd.read_csv("factor_returns.csv")
data = data.iloc[:, 1:-2]
print("data:\n", data)
# 2、实例化一个转换器类
transfer = VarianceThreshold(threshold=10)
# 3、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new, data_new.shape)
# 计算某两个变量之间的相关系数
r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
print("相关系数：\n", r1)
r2 = pearsonr(data['revenue'], data['total_expense'])
print("revenue与total_expense之间的相关性：\n", r2)
return None
def pca_demo():
"""
PCA降维
:return:
"""
data = [[2,8,4,5], [6,3,0,8], [5,4,9,1]]
# 1、实例化一个转换器类
transfer = PCA(n_components=0.95)
# 2、调用fit_transform
data_new = transfer.fit_transform(data)
print("data_new:\n", data_new)
return None
if __name__ == "__main__":
# 代码1：sklearn数据集使用
# datasets_demo()
# 代码2：字典特征抽取
# dict_demo()
# 代码3：文本特征抽取：CountVecotrizer
# count_demo()
# 代码4：中文文本特征抽取：CountVecotrizer
# count_chinese_demo()
# 代码5：中文文本特征抽取，自动分词
# count_chinese_demo2()
# 代码6：中文分词
# print(cut_word("我爱北京天安门"))
# 代码7：用TF-IDF的方法进行文本特征抽取
# tfidf_demo()
# 代码8：归一化
# minmax_demo()
# 代码9：标准化
# stand_demo()
# 代码10：低方差特征过滤
# variance_demo()
# 代码11：PCA降维
pca_demo()
第二天 分类算法
课堂纪要
分类算法
目标值：类别
1、sklearn转换器和预估器
2、KNN算法
3、模型选择与调优
4、朴素贝叶斯算法
5、决策树
6、随机森林
3.1 sklearn转换器和估计器
转换器
估计器(estimator)
3.1.1 转换器 - 特征工程的父类
1 实例化 (实例化的是一个转换器类(Transformer))
2 调用fit_transform(对于文档建立分类词频矩阵，不能同时调用)
标准化：
(x - mean) / std
fit_transform()
fit() 计算 每一列的平均值、标准差
transform() (x - mean) / std进行最终的转换
3.1.2 估计器(sklearn机器学习算法的实现)
估计器(estimator)
1 实例化一个estimator
2 estimator.fit(x_train, y_train) 计算
—— 调用完毕，模型生成
3 模型评估：
1）直接比对真实值和预测值
y_predict = estimator.predict(x_test)
y_test == y_predict
2）计算准确率
accuracy = estimator.score(x_test, y_test)
3.2 K-近邻算法
3.2.1 什么是K-近邻算法
KNN核心思想：
你的“邻居”来推断出你的类别
1 K-近邻算法(KNN)原理
k = 1
容易受到异常点的影响
如何确定谁是邻居？
计算距离：
距离公式
欧氏距离
曼哈顿距离 绝对值距离
明可夫斯基距离
2 电影类型分析
k = 1 爱情片
k = 2 爱情片
……
k = 6 无法确定
k = 7 动作片
如果取的最近的电影数量不一样？会是什么结果？
k 值取得过小，容易受到异常点的影响
k 值取得过大，样本不均衡的影响
结合前面的约会对象数据，分析K-近邻算法需要做什么样的处理
无量纲化的处理
标准化
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
n_neighbors：k值
3.2.3 案例1：鸢尾花种类预测
1）获取数据
2）数据集划分
3）特征工程
标准化
4）KNN预估器流程
5）模型评估
3.2.4 K-近邻总结
优点：简单，易于理解，易于实现，无需训练
缺点：
1）必须指定K值，K值选择不当则分类精度不能保证
2）懒惰算法，对测试样本分类时的计算量大，内存开销大
使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试
3.3 模型选择与调优
3.3.1 什么是交叉验证(cross validation)
3.3.2 超参数搜索-网格搜索(Grid Search)
k的取值
[1, 3, 5, 7, 9, 11]
暴力破解
3.3.3 鸢尾花案例增加K值调优
3.2.4 案例：预测facebook签到位置
流程分析：
1）获取数据
2）数据处理
目的：
特征值 x
目标值 y
a.缩小数据范围
2 < x < 2.5
1.0 < y < 1.5
b.time -> 年月日时分秒
c.过滤签到次数少的地点
数据集划分
3）特征工程：标准化
4）KNN算法预估流程
5）模型选择与调优
6）模型评估
3.4 朴素贝叶斯算法
3.4.1 什么是朴素贝叶斯分类方法
3.4.2 概率基础
1 概率(Probability)定义
3.4.3 联合概率、条件概率与相互独立
联合概率：包含多个条件，且所有条件同时成立的概率
P(程序员, 匀称) P(程序员, 超重|喜欢)
P(A, B)
条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
P(程序员|喜欢) P(程序员, 超重|喜欢)
P(A|B)
相互独立:
P(A, B) = P(A)P(B) <=> 事件A与事件B相互独立
朴素？
假设：特征与特征之间是相互独立
朴素贝叶斯算法：
朴素 + 贝叶斯
应用场景：
文本分类
单词作为特征
拉普拉斯平滑系数
3.4.6 案例：20类新闻分类
1）获取数据
2）划分数据集
3）特征工程
文本特征抽取
4）朴素贝叶斯预估器流程
5）模型评估
3.4.7 朴素贝叶斯算法总结
优点：
对缺失数据不太敏感，算法也比较简单，常用于文本分类。
分类准确度高，速度快
缺点：
由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好
我爱北京天安门
3.5 决策树
3.5.1 认识决策树
如何高效的进行决策？
特征的先后顺序
3.5.2 决策树分类原理详解
已知 四个特征值 预测 是否贷款给某个人
先看房子，再工作 -> 是否贷款 只看了两个特征
年龄，信贷情况，工作 看了三个特征
信息论基础
1）信息
香农：消除随机不定性的东西
小明 年龄 “我今年18岁” - 信息
小华 ”小明明年19岁” - 不是信息
2）信息的衡量 - 信息量 - 信息熵
bit
g(D,A) = H(D) - 条件熵H(D|A)
4 决策树的划分依据之一------信息增益
没有免费的午餐
3.5.5 决策树可视化
3.5.6 决策树总结
优点：
可视化 - 可解释能力强
缺点：
容易产生过拟合
3.5.4 案例：泰坦尼克号乘客生存预测
流程分析：
特征值 目标值
1）获取数据
2）数据处理
缺失值处理
特征值 -> 字典类型
3）准备好特征值 目标值
4）划分数据集
5）特征工程：字典特征抽取
6）决策树预估器流程
7）模型评估
3.6 集成学习方法之随机森林
3.6.1 什么是集成学习方法
3.6.2 什么是随机森林
随机
森林：包含多个决策树的分类器
3.6.3 随机森林原理过程
训练集：
N个样本
特征值 目标值
M个特征
随机
两个随机
训练集随机 - N个样本中随机有放回的抽样N个
bootstrap 随机有放回抽样
[1, 2, 3, 4, 5]
新的树的训练集
[2, 2, 3, 1, 5]
特征随机 - 从M个特征中随机抽取m个特征
M >> m
降维
3.6.6 总结
能够有效地运行在大数据集上，
处理具有高维特征的输入样本，而且不需要降维
代码
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.tree import DecisionTreeClassifier, export_graphviz
def knn_iris():
"""
用KNN算法对鸢尾花进行分类
:return:
"""
# 1）获取数据
iris = load_iris()
# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
# 3）特征工程：标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4）KNN算法预估器
estimator = KNeighborsClassifier(n_neighbors=3)
estimator.fit(x_train, y_train)
# 5）模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2：计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)
return None
def knn_iris_gscv():
"""
用KNN算法对鸢尾花进行分类，添加网格搜索和交叉验证
:return:
"""
# 1）获取数据
iris = load_iris()
# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
# 3）特征工程：标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4）KNN算法预估器
estimator = KNeighborsClassifier()
# 加入网格搜索与交叉验证
# 参数准备
param_dict = {"n_neighbors": [1, 3, 5, 7, 9, 11]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10)
estimator.fit(x_train, y_train)
# 5）模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2：计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)
# 最佳参数：best_params_
print("最佳参数：\n", estimator.best_params_)
# 最佳结果：best_score_
print("最佳结果：\n", estimator.best_score_)
# 最佳估计器：best_estimator_
print("最佳估计器:\n", estimator.best_estimator_)
# 交叉验证结果：cv_results_
print("交叉验证结果:\n", estimator.cv_results_)
return None
def nb_news():
"""
用朴素贝叶斯算法对新闻进行分类
:return:
"""
# 1）获取数据
news = fetch_20newsgroups(subset="all")
# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)
# 3）特征工程：文本特征抽取-tfidf
transfer = TfidfVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)
# 4）朴素贝叶斯算法预估器流程
estimator = MultinomialNB()
estimator.fit(x_train, y_train)
# 5）模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2：计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)
return None
def decision_iris():
"""
用决策树对鸢尾花进行分类
:return:
"""
# 1）获取数据集
iris = load_iris()
# 2）划分数据集
x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)
# 3）决策树预估器
estimator = DecisionTreeClassifier(criterion="entropy")
estimator.fit(x_train, y_train)
# 4）模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2：计算准确率
score = estimator.score(x_test, y_test)
print("准确率为：\n", score)
# 可视化决策树
export_graphviz(estimator, out_file="iris_tree.dot", feature_names=iris.feature_names)
return None
if __name__ == "__main__":
# 代码1： 用KNN算法对鸢尾花进行分类
# knn_iris()
# 代码2：用KNN算法对鸢尾花进行分类，添加网格搜索和交叉验证
# knn_iris_gscv()
# 代码3：用朴素贝叶斯算法对新闻进行分类
# nb_news()
# 代码4：用决策树对鸢尾花进行分类
decision_iris()
1535
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
