大数据产品开发流程规范_81页大数据分析实战PPT,一套完整的方法论和流程步骤,即学即用...

本文介绍了大数据分析的方法论,包括需求分析、目标设定、总体架构、实施重点和数据质量管理。通过案例分享,揭示了即使面临平台成本、数据安全和人才昂贵的问题,也能通过掌握一套实施流程,进行有效的大数据分析。
摘要由CSDN通过智能技术生成

文 | 明哥,前麦肯锡战略咨询顾问,埃森哲管理咨询顾问,一个喜欢用思维导图架构PPT的老司机,欢迎关注,一起成为职场精英。

关于大数据分析,对于很多企业来讲只是一个噱头,上专有云吧,又厚又重而且价格高昂的平台底座,不是一般企业能够承受的;上公有云吧,数据安全问题,数据上云和下行带来的诸多问题,不是每个企业都能接受的;另外更为要命的一点是,大数据需要大量的算法工程师,这些工程师的造价高昂,那么,问题来了,难道大数据分析就只能是少数人的游戏吗?

回答这个问题,我们需要先定义一下“方法论”这个东西,方法论是什么,方法论是无数人实践、验证、可复制执行的流程、方法、行动步骤,百度百科是这样解释的,先思考30秒。

方法论是人们用什么样的方式、方法来观察事物和处理问题。概括地说,世界观主要解决世界“是什么”的问题,方法论主要解决“怎么办”的问题。


方法论是一种以解决问题为目标的体系或系统,通常涉及对问题阶段、任务、工具、方法技巧的论述。方法论会对一系列具体的方法进行分析研究、系统总结并最终提出较为一般性的原则。


方法论也是一个哲学概念。人们关于“世界是什么、怎么样”的根本观点是世界观。用这种观念作指导去认识世界和改造世界,就成了方法论。 方法论是普遍适用于各门具体社会科学并起指导作用的范畴、原则、理论、方法和手段的总和。历史唯物主义的著作中经常提到方法论这个概念。

好了,现在我们回到主题,大数据分析无从下手,我们分析了,(1)平台太贵(2)数据安全(3)算法工程师太贵,发现了吗?因为有了这3个限制条件,大部分人无法系统的了解大数据分析的方法、流程和步骤,如果我们掌握了一套实施方法论,然后再有一个案例来参考,即便我们不做大数据分析,我是不是也可以充分利用这些新技术、新分析方法红利,为我们日常的数据分析、洞察提供一套打动老板、打动客户的秘密武器呢!

案例概览

a6240ff5949c0f0207b40279aec7bc50.png

概览1

12ef24c46e3c1f0c61e19d16ac705c92.png

概览2

一、大数据分析综述

(1)需求分析

b0de59fa9db01539281089c92951da62.png

(2)大数据分析目标

6b796ab08fbad9782152115157b4c1f4.png

二、大数据分析总体架构

(1)总体技术架构

5f48e733b691e6106eea2baba3362c6f.png

(2)数据存储层:数据集市

434c26ffd2277043a9ee6863f9a31da3.png

(3)数据存储数据流

5f26472c1b5dd5e6ab903aeb017777eb.png

(4)数据标准管理

a211e608f588d9d0ba60c0af413b2439.png

(5)元数据管理

ed505f4e4b8de97ae2b3ebef612694e5.png

(6)数据流程管理

4b0f78fc2f1b82a7a7adc76f46bec4ea.png

三、大数据分析实施重点

(1)应用案例:系统框架

659f05e555cfeea02898b827133a8673.png

(2)应用案例:数据抽取

0c2102ad2cfaed0c5d0ef2df3b905b18.png

(3)应用案例-调度引擎

4e308746d32746e015b026e53787ba30.png

(4)应用案例:临时存储区

eb3be44a70cba7c600550f1dd6dc5285.png

(5)应用案例:软硬件配置示例

62bb31f8aaaa601e959310a02ab8a265.png

四、数据质量管理

(1)数据质量管理框架

097625aef7a492a12cf96d6b82c2b867.png

(2)数据质量检查任务

e7636e1f3c0c6ac176c2f3e8db07872e.png

(2)数据质量报告

611f6e56c556fb584cbf39947b5b5668.png

小贴士:

方法论带给我们的是框架思维,在方法论的指引下,即便我们不能做到最好,但至少可以保证(1)操作方向和目标是一致的(2)关键步骤是没有遗漏的(3)有模板、有SOP支撑,做事情只需要按步骤操作即可,可以快速上手,避免无从下手。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值