Python数据挖掘与机器学习技术入门实战

课程主讲简介：

韦玮，企业家，资深IT领域专家/讲师/作家，畅销书《精通Python网络爬虫》作者，阿里云社区技术专家。

以下内容根据主讲嘉宾视频分享以及PPT整理而成。

本次课程包含了五个知识点：

1.数据挖掘与机器学习技术简介  

2.Python数据预处理实战  

3.常见分类算法介绍  

4.对鸢尾花进行分类案例实战  

5.分类算法的选择思路与技巧

一、数据挖掘与机器学习技术简介

什么是数据挖掘？数据挖掘指的是对现有的一些数据进行相应的处理和分析，最终得到数据与数据之间深层次关系的一种技术。例如在对超市货品进行摆放时，牛奶到底是和面包摆放在一起销量更高，还是和其他商品摆在一起销量更高。数据挖掘技术就可以用于解决这类问题。具体来说，超市的货品摆放问题可以划分为关联分析类场景。

在日常生活中，数据挖掘技术应用的非常广泛。例如对于商户而言，常常需要对其客户的等级（svip、vip、普通客户等）进行划分，这时候可以将一部分客户数据作为训练数据，另一部分客户数据作为测试数据。然后将训练数据输入到模型中进行训练，在训练完成后，输入另一部分数据进行测试，最终实现客户等级的自动划分。其他类似的应用例子还有验证码识别、水果品质自动筛选等。

那么机器学习技术又是什么呢？一言以蔽之，凡是让机器通过我们所建立的模型和算法对数据之间的关系或者规则进行学习，最后供我们利用的技术都是机器学习技术。其实机器学习技术是一个交叉的学科，它可以大致分为两类：传统的机器学习技术与深度学习技术，其中深度学习技术包含了神经网络相关技术。在本次课程中，着重讲解的是传统的机器学习技术及各种算法。

由于机器学习技术和数据挖掘技术都是对数据之间的规律进行探索，所以人们通常将两者放在一起提及。而这两种技术在现实生活中也有着非常广阔的应用场景，其中经典的几类应用场景如下图所示： 我有几张阿里云幸运券分享给你，用券购买或者升级阿里云相应产品会有特惠惊喜哦！把想要买的产品的幸运券都领走吧！快下手，马上就要抢光了。

1、分类：对客户等级进行划分、验证码识别、水果品质自动筛选等

机器学习和数据挖掘技术可以用于解决分类问题，如对客户等级进行划分、验证码识别、水果品质自动筛选等。

以验证码识别为例，现需要设计一种方案，用以识别由0到9的手写体数字组成的验证码。有一种解决思路是，先将一些出现的0到9的手写体数字划分为训练集，然后人工的对这个训练集进行划分，即将各个手写体映射到其对应的数字类别下面，在建立了这些映射关系之后，就可以通过分类算法建立相应的模型。这时候如果出现了一个新的数字手写体，该模型可以对该手写体代表的数字进行预测，即它到底属于哪个数字类别。例如该模型预测某手写体属于数字1的这个类别，就可以将该手写体自动识别为数字1。所以验证码识别问题实质上就是一个分类问题。

水果品质的自动筛选问题也是一个分类问题。水果的大小、颜色等特征也可以映射到对应的甜度类别下面，例如1这个类别可以代表甜，0这个类别代表不甜。在获得一些训练集的数据之后，同样可以通过分类算法建立模型，这时候如果出现一个新的水果，就可以通过它的大小、颜色等特征来自动的判断它到底是甜的还是不甜的。这样就实现了水果品质的自动筛选。

2、回归：对连续型数据进行预测、趋势预测等

除了分类之外，数据挖掘技术和机器学习技术还有一个非常经典的场景——回归。在前文提到的分类的场景，其类别的数量都有一定的限制。比如数字验证码识别场景中，包含了0到9的数字类别；再比如字母验证码识别场景中，包含了a到z的有限的类别。无论是数字类别还是字母类别，其类别数量都是有限的。

现在假设存在一些数据，在对其进行映射后，最好的结果没有落在某个0、1或者2的点上，而是连续的落在1.2、1.3、1.4...上面。而分类算法就无法解决这类问题，这时候就可以采用回归分析算法进行解决。在实际的应用中，回归分析算法可以实现对连续型数据进行预测和趋势预测等。

原文链接