本文介绍了数据挖掘的基本概念，强调了大数据的4V特点，并详细阐述了数据挖掘的步骤，包括理解项目目的、数据获取、数据预处理、任务确定、数据分割、算法选择、结果解释和模型部署。同时，讨论了预测效果评估，涵盖数值预测、类别预测和排序分类器的性能评价指标。
数据挖掘
简介
大数据呈现的特点通常有4个”V”:体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)。
体量是指数据量；
速度是指流速，即生成和改变数据的速度；
多样性是指数据生成时的不同类型(货币、日期、数字、文本、图片等等)；
真实性是指有机分布式流程(比如数百万人注册服务或免费下载)生成数据的事实。
用于预测和分析的方法有很多，每种方法都有自身的优缺点，方法的有用性取决于以下因素：数据集大小、存在于数据中的模式类型、数据是否满足方法的某些基本假设。数据噪声大小以及数据分析的特定目标等等。
根据数据性质组织的数据挖掘方法如下图： 
数据挖掘的步骤
- 要了解项目的目的。研究的问题是什么？利益相关者会如何使用分析的结果？谁会收到结果的影响？分析是一次性还是可持续的过程？
- 获取分析中使用的数据集。可能涉及随机抽样。
- 探索、清洗和预处理数据。数据是否合理？缺失数
最低0.47元/天 解锁文章
1149
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
