数据挖掘概况
什么是数据挖掘?
数据挖掘(Data mining,简称DM),是指从大量数据中,通过统计学、人工智能、机器学习等方法,挖掘出未知的、且有价值的信息和知识的过程。
数据挖掘是一门交叉学科,覆盖了统计学、数据可视化、算法、数据库、机器学习、市场营销和其他学科等知识。
数据挖掘与数据分析的区别:
项目
数据分析
数据挖掘
定义
根据分析目的,用适当的方法即工具,对收集的数据进行处理与分析,提取有价值的信息,发挥数据的作用
从大量数据中,通过统计学、人工智能、机器学习等方法,挖掘出未知的、且有价值的信息和知识的过程。
作用
现状分析、原因分析、预测分析
解决四类问题:分类、据类、关联、预测
方法
对比分析、分组分析、交叉分析、回归分析等
决策树、神经网络、关联规则、据类分析等
结果
指标统计量结果,如综合/平均值等
输出模型或规则
模型:定量模型:数学公式(Y=a*X) ; 定性模型:规则(年龄>30岁 and 收入> 1万元)
算法:实现数据挖掘技术、模型的具体步骤与方法。(最小二乘法、K均值法等)
数据挖掘常见问题:用户流失预测(分类)、促销活动响应(分类)、目标市场细分(聚类)、交叉销售提升(关联)、未来显示预测(预测)
分类问题: