数据挖掘
简介
大数据呈现的特点通常有4个”V”:体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)。
体量
是指数据量;
速度
是指流速,即生成和改变数据的速度;
多样性
是指数据生成时的不同类型(货币、日期、数字、文本、图片等等);
真实性
是指有机分布式流程(比如数百万人注册服务或免费下载)生成数据的事实。
用于预测和分析的方法有很多,每种方法都有自身的优缺点,方法的有用性
取决于以下因素:数据集大小、存在于数据中的模式类型、数据是否满足方法的某些基本假设。数据噪声大小以及数据分析的特定目标等等。
根据数据性质组织的数据挖掘方法如下图:
数据挖掘的步骤
- 要了解项目的目的。研究的问题是什么?利益相关者会如何使用分析的结果?谁会收到结果的影响?分析是一次性还是可持续的过程?
- 获取分析中使用的数据集。可能涉及随机抽样。
- 探索、清洗和预处理数据。数据是否合理?缺失数