mysql大数据实战分享(上)

本文介绍了作者为一家电商公司开发的项目,涉及数据抓取、存储、处理与BI可视化。项目使用MySQL8.x,通过数据仓库将生产数据库数据转化为可分析指标,并利用datagrip和FineReport进行报表制作。强调了多人合作和BI可视化需求的重要性。
摘要由CSDN通过智能技术生成

前言

  学习了几天的mysql大数据基础以及BI软件的基础操作,我们具备了做简单的项目的能力接下来就让作者为大家讲解一下自己做的一个项目!

一.项目介绍

1.1项目背景

  某互联网电商公司拥有超过50万+门店用户和8000+店铺用户,店铺主要以卖家身份进行销售,门店以买家身份进行购买,每天会产生许多销售订单。根据订单信息以及其他的门店信息,店铺信息,商品信息等进行分析制作不同需求报表,以供业务人员和管理人员每天查看分析,制定相应的措施和提供一些决策依据。从而促进公司的经营和发展,实现公司利益最大化。

1.2项目架构

注意: mysql采用mysql8.x版本,编码utf8

架构方案介绍:

  • 公司中的各种信息数据都是存储在生产数据库shopnc_db中,此项目案例以mysql数据库为例,将各种数据存储在mysql数据库中

  • 先从shopnc_db库抽取数据到数据仓库dw库中,然后基于数据库的SQL语句,结合项目具体需求,实现数据指标查询操作。

  • 使用datagrip来快速将数据需求进行SQL指令交互, 实现项目需求各个指标数据的计算,将计算出的结果保存到bi_db数据库中

  • 通过FineReport BI可视化软件,实现将项目需求指标数据进行报表可视化展示,以供相关人员方便快速查看

1.3项目数据表

a)品牌代理店门店动销表

b)CRM系统客户表

c)地区表

d)erp系统公司表

e)erp系统订单表

f)批发订单表

g)批发订单表

h)门店表

I)店铺表

1.4项目主题需求介绍

1.5额外项目要求

(1).建议多人合作(也可单人)

多人合作需完选出组长以及完成会议纪要

(2)需要用BI可视化需求

(3)可以增加需求

(4)补充1.3项目数据表

二.项目分析

 2.1项目脚本

由于此项目给的信息过于庞大,如果使用DataGrip编写代码一个个插入数据既不省时,也麻烦

所以就要用到脚本,用脚本的前提是需要建一个数据库。

注意:我们做项目的时候不能使用公司所给的数据库,需要重新建一个

2.1.1使用脚本

2.1.2结果

2.2关于数据探查

数据探查其实就是解释信息表中的各个字段的含义,以方便相关人员快速查询信息(认为重要的就解析一下)

2.3注意事项

大家网上学习很少有机会跟他人一起合作,但是尽量有条件一起合作做项目,把这当作是一次公司项目对待会好点。

三.尾声

作者的项目作品将在明天发出,如有需要相对应资料可私

  • 21
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值