Shadow丶的博客

原创 我所理解工作中真实的数据处理流程

大数据处理流程主要包括： 数据收集 --> 数据预处理 --> 数据存储 --> 数据分析 --> 数据展示/数据可视化 --> 数据应用 -- 数据收集：根据业务需求收集业务场景所需数据 -- 数据预处理： ①数据清洗---去掉噪声和无关数据（异常值、缺失值、重复值、数据过滤与纠正） ②数据集成--将多个数据源的数据结合起来存放在一个一致的数据存储中。 ③数据变换--把原始数据转换为适合数据挖掘的形式。 ④数据规约--主要方法为数据立方体聚焦、维度规约、数据压缩