【实操】手把手教你搭建完整的数据分析体系

小天才学习机打游戏

于 2024-10-01 10:45:00 发布

阅读量474

点赞数 15

文章标签：数据分析数据库数据挖掘人工智能大数据机器学习 ocr

本文链接：https://blog.csdn.net/m0_59164520/article/details/142642903

版权

01.什么是BI

在讲具体案例前，我们先理清概念，什么是BI?

商业智能（BI）是一种数据分析技术，旨在将企业内各个领域和不同来源的数据进行整合。这些数据可能来自客户关系管理（CRM）系统、供应商关系管理（SRM）系统、财务系统（如SAP）以及电商平台等。BI的目的是将这些分散的数据源统一起来，形成一个集中的数据平台，以便从中提取有价值的信息，辅助企业领导层做出决策。

主要做的就是几个统一：

统一分析体系，
统一指标规范，
统一数据模型，
统一技术平台。

1、统一数据分析体系

统一数据分析体系的建立基于统一数据模型和统一的技术平台，重点在于如何整合不同来源的数据。在数据分析过程中，可能会使用到如SAP BW、Doris等技术平台，这些平台是承载数据模型的工具。

2、统一数据模型

数据整合过程中，需要将各个平台的数据抽取并形成一个统一的数据模型。为了解决数据合并的问题，需要按照固定的指标和维度进行合并，这就是建立统一数据模型的目的。

举个例子，如果部门A的同事询问平台GTV（Gross Transaction Value）的数值，而部门B的同事也进行了同样的查询，但由于没有统一的数据模型，他们得到的结果可能会不一致。因此，建立统一的数据模型是定义GTV的标准，并明确在需要使用数据时，应从何处获取，以确保数据的一致性和准确性。

3、统一技术平台

为了便于用户使用和获取数据，需要建立一个技术平台，使数据分析师能够清楚地了解部门内可用的数据表和数据。对于业务部门的数据分析人员，他们可能不清楚数据表的构建过程，因此需要一个统一的技术平台和规则，以便他们能够根据业务领域和维度查询所需的数据，并使用SQL或Python脚本生成数据结果。

4、统一数据指标规范

统一的数据模型和统一的技术平台是商业智能和数据分析的基础。在许多企业中，技术平台获取数据后，需要有统一的指标规范，以确保数据的准确性和一致性。在整个互联网平台或数据分析领域，对于GTV和GMV等关键指标都有明确的定义。BI商业智能技术提供使企业迅速分析数据的技术和方法，包括收集、转换、整合、可视化及分析数据等，将这些数据转化为有用的信息，支持各业务决策。商业智能（BI）通常采用自上而下的分析方法，辅以自下而上的补充分析。

BI项目的需求主要源自公司内部，目的是构建一个全面的经营分析体系。

02.案例：搭建完整的数据分析体系

当我们在接手一个项目时，如何建立完整的数据分析体系？

1、数据驱动业务改善

因为BI是面向公司内部的，所以在BI项目实施过程中，首先要根据内部需求建立一个数据分析框架，明确关键指标、维度和分析方法。例如，在分析北极星指标时，需要确定相关的体系和维度，如地理位置（省份、城市、区县）等，并从不同角度了解客户信息，包括客户体量、画像和分类，以及客户的GTV、采购量和采购金额。同时还需评估服务的盈利性。

2、BI系统建设

为了有效进行数据分析，必须首先建立一套完整的数据分析体系。作为数据分析师，我们要负责**处理和准备数据，**构建底层数据表，这些表将支持我们从不同的数据源中提取所需的数据，通过编写SQL和Python脚本来实现这一点，并确保数据逻辑的清晰。

在建立了数据分析框架之后，我们的首要任务是制定一个完整的项目实施计划。这包括筛选出所需的指标和维度，并将这些指标的详细说明书提供给数据开发团队，方便他们构建平台和底层数据模型，从数据抽取到合并，再到应用层，每一步都需要精心设计。

3、BI平台建设

这些产品可能是一个完整的数据看板，也可能是以Excel形式导出的数据，或者使用其他BI工具来呈现。总之是结合公司业务发展目标，建设BI平台，提供数据分析支持服务。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述