数据挖掘介绍
文章目录
1.数据挖掘概述
1.1 数据挖掘典型应用场景
金融 数字政府 智慧园区 电商
1.2 数据挖掘概述
数据挖掘:通过对大量的数据进行分析,以发现和提取隐含在其中的具有价值的信息和知识的过程
大数据:无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
![大数据和数据挖掘关系](https://img-blog.csdnimg.cn/cb976641fd53476db6cbd76d9a6b0ab2.png#pic_center)
2.数据挖掘基本流程
2.1 数据挖掘模式分类
根据训练数据是否拥有标记的信息:
监督学习 半监督学习 非监督学习
根据应用角度:
分类:对现有的数据进行学习,得到一个目标函数或规则,把每个属性集x映射到预先定义的类标号y上
回归:通过规定因变量和自变量来确定变量之间的因果关系,建立回归模型,并根据实测数据来确定模型的各个参数。然后评价回归模型是否能很好地拟合实测数据
聚类:在没有数据标签的情况下还要对数据进行分类。将数据对象分为多个类或者簇。目标是:在同一个簇中的对象之间具有较高的相似度,而不同簇中对象差别较大。
神经网络:由众多的神经元可调的连接权值连接而成。具有大规模并行处理,分布式信息存储,良好的自组织自学习能力等特点
预处理:缺失值、重复值、单位不统一
特征选择:将高维空间的样本通过映射或者是变幻的方式转换到低纬空间,以达到降维的目的。通过特征选取,删选掉一些冗余的和不