电商项目_使用Quick BI 可视化工具进行展示

最新推荐文章于 2024-01-25 20:00:00 发布
最新推荐文章于 2024-01-25 20:00:00 发布
阅读量525 收藏 1
点赞数
文章标签： hive 大数据 hadoop mysql 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48370579/article/details/125802161
版权

五、使用阿里云产品进行数据可视化(Quick BI)

结果看板

https://bi.aliyuncs.com/token3rd/dashboard/view/pc.htm?pageId=40459871-839c-4eaa-b48d-68a08823e7f9&accessToken=48ebc87e5d0a5c9b709598bb771ee918&dd_orientation=auto
全国各省浏览量

接下来我们导入新的数据文件到ODS中，执行base_area.sql文件运行在MySQL数据库中，生成表数据并加载到Hive中，生成编码表！

使用DataX导入工具进行导入操作，并创建Hive表。

创建Hive表

create external table if not exists ods_nshop.ods_01_base_area (
  id int COMMENT 'id标识',
  area_code string COMMENT '省份编码',
  province_name string COMMENT '省份名称',
  iso string COMMENT 'ISO编码'
)row format delimited fields terminated by ','
stored as TextFile
location '/shujia/bigdata17/data/nshop/ods/ods_01_base_area/'

注意：首先解压DataX的安装包到服务器，并导入MySQL的驱动包，即可使用！！！

创建Job任务，导入脚本

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "area_code",
                            "province_name",
                            "iso"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "base_area"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://master:3306/nshop"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://master:9000",
                        "fileType": "text",
                        "path": "/shujia/bigdata17/data/nshop/ods/ods_01_base_area/",
                        "fileName": "base_area_txt",
                        "column": [
                            {
                                "name": "id",
                                "type": "int"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "province_name",
                                "type": "string"
                            },
                            {
                                "name": "iso",
                                "type": "string"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": ","
                    }
                }
            }
        ]
    }
}

执行命令

[root@master script]# datax.py m.json

最后创建指标统计表

create external table if not exists ads_nshop.ads_nshop_customer(
  user_view_count int comment '每个用户浏览次数',
  provience string comment '省份'
) partitioned by (bdp_day string)
row format delimited fields terminated by ','
stored as TextFile
location '/shujia/bigdata17/data/nshop/ads/operation/ads_nshop_customer/';

执行SQL

insert overwrite table ads_nshop.ads_nshop_customer partition(bdp_day='20220630')
select
sum(a.view_count),
c.province_name
from dws_nshop.dws_nshop_ulog_view a
join ods_nshop.ods_02_customer b
on a.user_id=b.customer_id
join ods_nshop.ods_01_base_area c 
on b.customer_natives=c.area_code
where a.bdp_day='20220630'
group by c.province_name;

平台浏览统计

将流量类指标平台PUV同步MySQL中，首先构建MySQL表

CREATE TABLE `ads_nshop_flowpu_stat` (
  `uv` int DEFAULT NULL,
  `pv` int DEFAULT NULL,
  `pv_avg` double DEFAULT NULL
)

同步脚本

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/shujia/bigdata17/data/nshop/ads/operation/ads_nshop_flow/bdp_day=${dt}/*",
                        "defaultFS": "hdfs://master:9000",
                        "column": [
                               {
                                "index": 0,
                                "type": "Long"
                               },
                               {
                                "index": 1,
                                "type": "Long"
                               },
                               {
                                "index": 2,
                                "type": "Double"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": ","
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "uv",
                            "pv",
                            "pv_avg"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/nshop",
                                "table": [
                                    "ads_nshop_flowpu_stat"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

执行命令

[root@master script]# datax.py demo2.json -p "-Ddt=20220630"

平台搜索热词统计

创建MySQL表

CREATE TABLE `ads_nshop_search_keys` (
  `search_keys` varchar(255) DEFAULT NULL,
  `gender` varchar(255) DEFAULT NULL,
  `age_range` varchar(255) DEFAULT NULL,
  `os` varchar(255) DEFAULT NULL,
  `manufacturer` varchar(255) DEFAULT NULL,
  `area_code` varchar(255) DEFAULT NULL,
  `search_users` int DEFAULT NULL,
  `search_records` int DEFAULT NULL,
  `search_orders` varchar(255) DEFAULT NULL,
  `search_targets` int DEFAULT NULL
)

同步脚本

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/shujia/bigdata17/data/nshop/ads/operation/ads_nshop_search_keys/bdp_day=${dt}/*",
                        "defaultFS": "hdfs://master:9000",
                        "column": [
                               {
                                "index": 0,
                                "type": "string"
                               },
                               {
                                "index": 1,
                                "type": "string"
                               },
                               {
                                "index": 2,
                                "type": "string"
                               },
                               {
                                "index": 3,
                                "type": "string"
                               },
                               {
                                "index": 4,
                                "type": "string"
                               },
                               {
                                "index": 5,
                                "type": "string"
                               },
                               {
                                "index": 6,
                                "type": "long"
                               },
                               {
                                "index": 7,
                                "type": "long"
                               },
                               {
                                "index": 8,
                                "type": "string"
                               },
                               {
                                "index": 9,
                                "type": "long"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": ","
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "search_keys",
                            "gender",
                            "age_range",
                            "os",
                            "manufacturer",
                            "area_code",
                            "search_users",
                            "search_records",
                            "search_orders",
                            "search_targets"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://master:3306/nshop",
                                "table": [
                                    "ads_nshop_search_keys"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

执行命令

[root@master datax]# datax.py demo3.json -p "-Ddt=20220630"

更新热词搜索对照表，导入shop_code.sql文件到数据库

然后进行匹配热词信息表进行数据重写，首先构建新的表

说明：这里我们要将导出的表去除空值处理

CREATE TABLE `ads_nshop_search_keys_2` (
  `search_keys` varchar(255) DEFAULT NULL,
  `gender` varchar(255) DEFAULT NULL,
  `age_range` varchar(255) DEFAULT NULL,
  `os` varchar(255) DEFAULT NULL,
  `manufacturer` varchar(255) DEFAULT NULL,
  `area_code` varchar(255) DEFAULT NULL,
  `search_users` int DEFAULT NULL,
  `search_records` int DEFAULT NULL,
  `search_orders` varchar(255) DEFAULT NULL,
  `search_targets` int DEFAULT NULL
)

执行SQL

insert into ads_nshop_search_keys_2(search_keys ,gender,age_range,os,manufacturer,area_code,search_users,search_records,search_orders,search_targets)
SELECT name as search_keys ,gender,age_range,os,manufacturer,area_code,search_users,search_records,search_orders,search_targets FROM ads_nshop_search_keys  JOIN shop_code  ON search_keys=id
CREATE TABLE `ads_nshop_search_keys_3` (
  `search_keys` varchar(255) DEFAULT NULL,
  `search_records` int DEFAULT NULL
)

insert into ads_nshop_search_keys_3(search_keys,search_records)
select search_keys,sum(search_records) from ads_nshop_search_keys_2 group by search_keys;

广告投放类指标统计

修改SQL语句

1、现在hive中创建一张类别对照表
create external table if not exists ods_nshop.dim_shop_code(
  id int comment '类别编号',
  name string comment '类别'
)
row format delimited fields terminated by ','
stored as TextFile
location '/shujia/bigdata17/data/nshop/ods/operation/dim_shop_code/';

2、编写dataX文件
{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "shop_code"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://master:3306/nshop"
                                ]
                            }
                        ]
                    }
                },
               "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://master:9000",
                        "fileType": "text",
                        "path": "/shujia/bigdata17/data/nshop/ods/operation/dim_shop_code/",
                        "fileName": "base_area_txt",
                        "column": [
                            {
                                "name": "id",
                                "type": "int"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": ","
                    }
                }
            }
        ]
    }
}

3、创建与维表进行结合的广告投放表
create external table if not exists ads_nshop.ads_nshop_release_stat2(
  device_type string comment '设备类型',
  os string comment '手机系统',
  customer_gender TINYINT comment '性别：1男 0女',
  age_range string comment '年龄段',
  province_name string comment '省份',
  release_sources string comment '投放渠道',
  name string comment '投放浏览产品分类',
  visit_total_customers int comment '总访客数',
  visit_total_counts int comment '总访问次数'
)partitioned by (bdp_day string)
row format delimited fields terminated by ','
stored as TextFile
location '/shujia/bigdata17/data/nshop/ads/operation/ads_nshop_release_stat2/';

4、添加数据
insert overwrite table ads_nshop.ads_nshop_release_stat2 partition(bdp_day='20220630')
select 
a.device_type,
a.os,
a.customer_gender,
a.age_range,
b.province_name,
a.release_sources,
c.name,
a.visit_total_customers,
a.visit_total_counts
from ads_nshop.ads_nshop_release_stat a
join ods_nshop.ods_01_base_area b
on a.customer_natives=b.area_code
join ods_nshop.dim_shop_code c
on a.release_category=c.id
where a.bdp_day='20220630';

总体运营指标统计

修改SQL语句重写插入数据

insert overwrite table ads_nshop.ads_nshop_oper_stat partition(bdp_day='20220630')
select
a.customer_gender,
a.customer_age_range,
e.province_name,
c.category_code,
count(distinct b.order_id) ,
count(distinct b.order_id) / sum(d.view_count),
sum(b.payment_money),
sum(b.district_money),
sum(b.shipping_money),
sum(b.payment_money) / count(distinct b.customer_id)
from ods_nshop.ods_02_customer a 
join dwd_nshop.dwd_nshop_orders_details b 
on a.customer_id=b.customer_id
join ods_nshop.dim_pub_product c 
on b.supplier_code=c.supplier_code
join dws_nshop.dws_nshop_ulog_view d 
on b.customer_id=d.user_id
join ods_nshop.ods_01_base_area e
on a.customer_natives=e.area_code
where d.bdp_day='20220630'
group by
a.customer_gender,
a.customer_age_range,
e.province_name,
c.category_code;

支付统计TopN

修改SQL

线上支付 10 网上银行 11 微信 12 支付宝 |线下支付(货到付款) 20 '

insert overwrite table ads_nshop.ads_nshop_pay_stat_topn partition(bdp_day='20220630')
select
case when b.pay_type='10' then '网上银行' when b.pay_type='11' then '微信' when b.pay_type='12' then '支付宝 ' else '货到付款' end,
e.province_name,
count(distinct b.pay_id),
sum(b.pay_amount) as pay_sum
from ods_nshop.ods_02_customer a
join ods_nshop.ods_02_orders_pay_records b 
on a.customer_id=b.customer_id
join ods_nshop.ods_01_base_area e
on a.customer_natives=e.area_code
group by 
e.province_name,
b.pay_type order by pay_sum;

a-tao必须奥利给
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
01_大数据项目之电商数仓_用户行为采集平台.docx
07-20
* 数据可视化：Echarts、Superset、QuickBI、DataV 等技术来可视化数据 * 任务调度：Azkaban、Oozie 等技术来调度任务 * 集群监控：Zabbix 等技术来监控集群性能 * 元数据管理：Atlas 等技术来管理元数据 * 数据质量...
第二周周报
HaiRG的博客
10-06 649
第二周周报 数据分析 在建立模型，对数据进行训练分析之前，需要对数据的整体，有一个大概的了解，了解数据的种类，范围，缺失情况等信息，我在上一周对数据的总体情况进行了分析，以下是其中的一部分。 数据大小 数据总览 数据缺失 实战结果 在翻阅资料的过程中，我看到一个思路，就是利用数据中的贷款等级进行预测，这个思路比较的简洁明了，因此上一周我的实践就是根据这一方面进行的。 首先，我们假定，原数据所给的信用评级，一定是有其道理的，因此，我们可以利用这个评级，通过对训练集中每个评级的违约率进行统计，即可以作
前端嵌入阿里云quick bi
茶荼
09-28 811
token：管理员注册quick bi时就会生成，后续不管制作了几个图表界面，请求的token都是同一个，token可以让后端通过接口返回，前端直接请求阿里云接口获取token会跨域。pageid：这是很重要的一个值， 每个图表界面的pageid是不同，前端根据pageid去渲染不同的图标界面。quick bi最重要的两个参数，“token”和“pageid”。
有关Quick BI中Case子句中多次使用lod函数返回空值问题分析
最新发布
01-25 1002
有关Quick BI中Case子句中多次使用lod函数，返回空值问题分析
Quick Bi经验总结
热门推荐
liuzhiqiang66的博客
02-11 1万+
Quick Bi可视化大屏数据分析大屏及各种可视化图表制作技巧
瓴羊Quick BI拥有可视化大屏功能，精准掌握所有数据内容！
qq_33728418的博客
02-27 130
这个时候我们可以了解一下Fine BI、Smart BI、永洪BI、瓴羊Quick BI等所提供的可视化大屏，企业管理者能够随时洞察销售目标完成状况和细节数据变化，并结合各个渠道实时反馈的各种内容，比如门店位置、气候变化和销售数据等，对各种商品进行智能化的调控，大大提升了商品的对外销售效果。相比于其他可视化大屏，比如Fine BI、Smart BI、永洪BI等国产商业智能工具，瓴羊Quick BI所提供的可视化大屏，无论是功能方面，还是视觉观感方面，都是非常特别的存在。
使用QuickBI 制作企业数据分析报表15道原题.zip
07-04
QuickBI是阿里云推出的一款强大的数据可视化工具，用于制作企业级的数据分析报表。这款产品旨在帮助企业用户快速理解和洞察业务数据，提升决策效率。本压缩包文件"使用QuickBI 制作企业数据分析报表15道原题.zip...
sorting_visualizer:使用React JS制作的排序可视化工具
04-03
**排序可视化工具** 排序算法是计算机科学中的基本概念，它涉及到如何有效地重新排列一组数据，以便按照特定标准（如升序或降序）进行排列。`sorting_visualizer` 是一个利用React JS技术实现的在线应用，它允许...
base_area.sql
11-26
2019最新国家统计局行政区域编码 分级 入库 省市县镇 北京市 天津市 河北省 山西省 内蒙古自治区 辽宁省 吉林省 黑龙江省 上海市 江苏省 浙江省 安徽省 福建省 江西省 山东省 河南省 湖北省 湖南省 广东省 广西壮族自治区 海南省 重庆市 四川省 贵州省 云南省 西藏自治区 陕西省 甘肃省 青海省 宁夏回族自治区 新疆维吾尔自治区
base_areas.sql
11-19
2019最新省份城市县级三级联查用数据表 mysql2019最新省份城市县级三级联查用数据表 mysql2019最新省份城市县级三级联查用数据表 mysql
areas.sql 全国省市县区域信息（mysql版本 ，练习用）
03-17
全国省市县区域信息（mysql版本 ）； mysql数据库自关联练习用的数据，不保证最新，仅供练习。 相关博文 MySQL 查询：https://blog.csdn.net/qq_23996069/article/details/104320360 （更新，北京市辖处的110100建议改成1101更准确，练习用不改也无妨）
运营也用的起来的数据分析工具：Quick BI即席分析详解
阿里云云栖号
08-30 1824
简介：数据部门是一个容易被投诉的“高危”部门，需求响应慢、数据准确性不高会影响业务的发展。 然而数据分析师每周动辄就有几十个需求在手，无限的加班也无法解决所有问题，到底怎样才能改变BI分析师的需求响应问题呢？ Quick BI——阿里云上客户都在用的BI产品（中国唯一入选Gartner ABI魔力象限BI），无缝对接各类云上数据库和自建数据库，大幅提升数据分析和报表开发效率，0代码鼠标拖拽式操作交互，让业务人员也能轻松实现海量数据可视化分析。 Quick BI即席分析：让业务实现自助分析 无论是初创.
让数据中台“飞“起来— Quick BI性能优化解决方案及实践
weixin_50054136的博客
05-17 1137
1 引言 Quick BI“数据门户”在企业数据中台建设中的重要性 企业在数据中台初步建设完成以后，怎样让客户直观感受到数据中台的价值？企业决策者、各部门管理人员、业务运营人员如何通过统一的窗口，快速看到数据中台提供的数据，并利用这些数据全方位的支持企业发展？ 基于Quick BI构建的企业数据门户，有效的解决了上述问题。Quick BI“数据门户”是数据中台提供给业务人员使用的门户和窗口，以场景化分析的方式，为企业各类人员和角色，提供统一的可视化服务。作为真正触达用户的可视化工具，Quick..
网站日志分析（二）——利用Quick BI制作企业化报表分析
weixin_45903673的博客
08-04 701
使用QuickBI展示分析数据 本文接上篇网站日志分析（一） • 在上一篇数据已经处理完毕，各种需要的表页已经生成 • 对于处理完的数据，下面将使用Quick BI进行编辑并以图表的形式进行展示。 • 进入控制台，点击左侧导航栏大数据（数加）下的Quick BI： • 进入标准版： • 首先我们点击添加数据源，出现弹层： 选择Maxcompute • 输入显示名称，项目名称，Access Id，Access Key这四个属性，其中后面三个之前已经获取过，直接复制粘贴即可，点击链接测试，通过后点击确定
数据可视化系列-06数据分析工具QuickBI
IT从业者的成长历程
01-08 4583
数据可视化系列-06数据分析工具QuickBI专题，主要介绍了QuickBI，并基于QuickBI完成一个仪表板创建，创建图表，创建联动，创建共享数据门户的功能
平台运营专有名词
adamlay的博客
01-03 1592
目录AU、DAU、WAU、MAUPU、APADNUARPU、ARPPU、PURLTV AU、DAU、WAU、MAU （Active Users），活跃用户，统计周期内，登录过平台的用户数相应的； 根据统计周期，有**DAU(日活跃用户)，WAU(周活跃用户),MAU(月活跃用户)**等。 PU、APA ( Paying User）：付费用户 APA（Active Payment Account）：活跃付费用户数 DNU （Daily New Users）： 每日平台中的新登入用户数量 ARPU、
阿里QuickBi快速上手
小半的博客
12-10 3500
一、产品简介 二、产品选型 1、标准版： 2、高级版 3、专业版 三、价格、计费 四、入门使用 五、系统集成 1、使用官方提供管理系统 2、内嵌至自己系统 1、通过HTTPS接口获取accessToken 2、添加需要嵌入的仪表板 六、其它 一、产品简介 智能分析套件Quick BI是一个专为云上用户量身打造的新一代智能BI服务平台。Quick BI可以提供海量数据实时在线分析服务，支持拖拽式操作和丰富的可视化效果，帮助您轻松自如地完成数据分析、业务数据探查、报表制作等工作。 什么..
Qt Quick实现json可视化
06-09
可以通过使用Qt Quick中的ListView和Delegate来实现JSON的可视化。下面是一个简单的实现步骤： 1. 定义一个包含JSON数据的model，例如可以使用Qt自带的QJsonDocument类来解析JSON数据并将其转换为QVariant类型的数据。 2. 在Qt Quick中创建一个ListView，将model设置为ListView的model。 3. 创建一个Delegate来显示每个JSON数据项。Delegate可以包含一个Rectangle作为背景，以及多个Text组件来显示JSON数据的各个字段。你可以根据自己的需要定制Delegate的样式。 4. 在Delegate中使用属性绑定来显示JSON数据的各个字段。例如，使用text属性来显示JSON数据的键，使用modelData属性来显示JSON数据的值。 5. 将ListView添加到Qt Quick窗口中，并运行程序即可看到JSON数据的可视化效果。 以上是一个简单的实现步骤，你可以根据自己的需求和实际情况进行修改和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值