python做数据分析6

littlespider889

已于 2022-04-23 09:10:54 修改

阅读量189

点赞数

分类专栏：数据分析与挖掘文章标签：数据挖掘

于 2021-05-05 17:48:32 首次发布

本文链接：https://blog.csdn.net/littlespider889/article/details/116405294

版权

数据分析与挖掘专栏收录该内容

16 篇文章 1 订阅

订阅专栏

2.2 机器学习的研究问题
2.2.1 回归

在前面的情景中，我们所研究的可乐销量与平均气温之间的定量关系，其实是机器学习中的回归问题。

回归问题主要研究两种现象之间的定量关系。

对于回归，机器需要对已有的数据进行拟合，再根据拟合出来的函数，对未来进行预测。

这里形象地说，拟合是寻找一个最优的光滑曲线，从整体上靠近已有的数据。

在这里插入图片描述
除了回归，机器学习还研究另外三类常见的问题：分类、聚类，以及降维。

2.2.2 分类

分类问题研究如何判断一个事物属于已知分类中的哪一类。

对于分类，机器需要先找到已知分类的划分规则，再应用该划分规则对新的事物进行分类。

例如现在有两个已知分类——饮料和非饮料。

让机器判断炸薯条是饮料还是非饮料，就是分类问题。

2.2.3 聚类

聚类问题研究如何对未分组的事物进行分组。

对于聚类，机器需要根据事物之间的相似性，将事物划分为若干组，并加上标签。

假设现在有 5 样食物，分别是可乐、汉堡包、橙汁、炸薯条和披萨。

让机器对这 5 样食物进行分组，并贴上标签，就是聚类问题。

2.2.4 降维

降维问题研究如何提取数据中的关键信息。

对于降维，机器需要分析不同维度数据的重要程度，并提取其中的关键信息。

这里举一个形象的例子，让机器找出牛肉芝士汉堡包中的高热量成分，就属于降维问题。

2.3 机器学习的简单分类
我们已经知道，机器学习是从历史数据中学习规律的过程。

如果历史数据既有输入特征，又有输出结果，就称这样的机器学习为监督学习。

如果历史数据仅包含输入特征，就称为无监督学习。

回忆一下，在前面小天的便利店里，我们用到的历史数据是过去一个月每天的平均气温和可乐销量。

这里每天的平均气温是输入特征，每天的可乐销量就是输出结果，所以情景问题用到了监督学习。

而对于另外的三类常见的研究问题，分类属于监督学习，聚类和降维属于无监督学习。

在这里插入图片描述
3. 机器学习有什么用？
想象一下这样的场景，在一个炎热的夏天，小图从公司下班。他来到停车场，朝着摄像头眨眨眼，道闸便打开了。

在小图回家的行驶过程中，他对手机说了一句，“今天有哪些热点新闻”，手机屏幕上就弹出了今日的热搜榜。

同时，汽车上的智能导航设备会根据小图的实时位置和路况信息，预测他到家的大致时间，并发送给家里的智能家电——智能空调会提前 5 分钟启动制冷、智能电视会根据小图的历史播放记录，自动搜索他感兴趣的节目并播放……
人工智能的快速发展，推动着机器学习和不同领域的技术相结合，使计算设备的功能越来越强大。

例如图像识别是机器学习和图像处理技术相结合的产物，语音识别则是机器学习和语音处理技术相结合的产物。

除此之外，机器学习还可以与定位技术相结合，实现精准定位，而内容推荐则需要用到数据库技术。

在这里插入图片描述
4. 机器学习需要学什么？
4.1 数学知识
在搭建机器学习模型的过程中，为了便于计算，通常以向量或矩阵的形式组织数据，因此学习机器学习需要线性代数的知识。

此外，你还需要了解线性代数中的线性变换、特征值、奇异值等知识。

在研究变量间的相关性时，机器学习需要用到概率论和统计学中的基础知识。

概率论部分涉及贝叶斯定律、伯努利分布、正态分布等知识。

统计学部分涉及方差、协方差、相关系数、参数估计、假设检验等知识。

另外，在学习优化算法时，还需要知道微积分中的导数和偏导数，以及凸优化中的线性规划、二次规划、最小二乘优化、正则化等知识。

4.2 编程知识
工欲善其事，必先利其器。想要开发机器学习项目，编程知识也是不可缺少的。

在编程知识方面，你需要知道 Python 基础语法和 Python 机器学习的常用模块。

在 Python 基础语法中，需要学习基础数据类型、循环和条件判断、函数、类与模块等知识。

而在使用 Python 开发机器学习项目时，需要了解如下 5 个常用的 Python 第三方库：

1）numpy 库：一个强大的数值计算库，提供了向量和矩阵的相关操作。

2）scipy 库：一个为科学和工程设计的库，提供统计、优化等方面的功能。

3）pandas 库：一个强大的分析结构化数据的库，用于高性能的矩阵运算、数据清洗。

4）matplotlib 库：一个集成了多种可视化方法的库，可定制性强、对初学者友好。

5）sklearn 库：一个强大的机器学习算法库，是 scipy 库的扩展，包含许多常用的机器学习算法以及一些数据集。

4.3 算法知识
最后，你还需要了解一些机器学习算法方面的知识。

在监督学习中，用于回归的算法有线性回归、保序回归，用于分类的算法有 K 近邻、支持向量机、决策树和神经网络。

在无监督学习中，用于聚类的算法有 K-Means 聚类、谱聚类，用于降维的算法有主成分分析和线性判别分析。

总地来说，数学知识是学习和理解机器学习算法的基础，编程知识和算法知识帮助你更好地应用机器学习模型。

对于以上三类知识，你只需要有个大概的了解即可。你可以参考以下的思维导图，进行梳理。

在这里插入图片描述
5. 机器学习项目体验
在本节，我们来体验一个机器学习项目。

5.1 情景故事
20 世纪 80 年代，生物学家发现了两种蚊子，并把它们分别命名为库蚊和伊蚊，其中伊蚊会传播多种病原体。

他们想，能不能根据这两种蚊子翅长和触角长的数据，对新的未知类别的蚊子进行分类。

从问题的角度看，这是一个分类问题，目标是根据蚊子的特征（翅长、触角长）对蚊子进行分类。

在使用机器学习算法之前，我们可以做一些尝试性的工作。

以蚊子翅长为横坐标，触角长为纵坐标，在平面直角坐标系中绘制散点图。

以下是原始数据，以及绘制得到的散点图。

在这里插入图片描述
由散点图，我们可以明显地感觉到——代表库蚊的点集中在图的左侧，而代表伊蚊的点集中在图的右侧。

对于 3 只未知分类的蚊子样本，我们根据散点图预测：前 2 只蚊子分布在图的左侧，最有可能是库蚊，而第 3 只蚊子分布在图的右侧，最有可能是伊蚊。

在这个例子中，蚊子的特征为两个，因此可以用上述方法进行主观猜测。

但是如果特征数量超过两个时，就需要机器学习来帮忙了。

在机器学习算法中，KNN 算法适用于分类问题。接下来，我们来看一下 KNN 算法是如何对蚊子进行分类的。

5.2 算法简介
当你第一次看到 KNN 这几个字，你是否会想 KNN 是什么？

KNN 的全称是 K Nearest Neighbors，字面意思是 K 个最近的邻居。KNN 算法是一种适用于分类问题的监督学习算法。

在蚊子的分类问题中，KNN 算法的计算步骤是这样的：

1）计算未知蚊子与每个已知蚊子特征之间的距离。

2）选取合适的 K 值，找出距离中前 K 个最小值所对应的已知蚊子。

这里，K 值的选取比较灵活，需要根据前面的散点图，选取一个合适的值。

在这里插入图片描述
3）根据少数服从多数的原则，对新蚊子的类别进行预测。

在这里插入图片描述
5.3 代码体验
在 Python 的第三方库 sklearn 中，提供了 K 近邻分类器 KNeighborsClassifier，使用该分类器可以很方便地帮助我们搭建 KNN 模型。

最后，让我们在沙盒中运行一下 KNN 算法代码，体验一下机器学习的魅力吧。

import pandas as pd
from sklearn.neighbors import KNeighborsClassifier

# Step1 读取数据
df = pd.read_csv("./工作/insect.csv")
x = df[['翅长', '触角长']].values
y = df['类别'].values

# Step2 数据预处理
# 最后 3 个样本为未知样本，其余样本为已知样本
train_X = x[:-3]
train_Y = y[:-3]
pred_X = x[-3:]

# Step3 训练模型
# 在 K 近邻分类器中，K 值通过参数 n_neighbors 设置
model = KNeighborsClassifier(n_neighbors=3)
model.fit(train_X, train_Y)

# Step4 应用模型
# 应用训练出的模型预测未知蚊子的类别
pred_Y = model.predict(pred_X)
print(pred_Y)