java开发数据分析平台_数据分析平台发展趋势

本文探讨了数据分析平台的发展历程,从离线报表系统到支持SQL的平台,再到自助式和人工智能分析平台。重点介绍了人工智能数据分析平台如C3B2如何通过AI生成报表和自动兼容多种数据源,简化数据分析过程,预示了未来的发展趋势。
摘要由CSDN通过智能技术生成

简介

近10年来互联网和移动互联网的发展十分迅速,各家互联网企业均积累下海量业务数据,这时企业开始思考如何分析这些数据以及利用数据驱动其业务发展,于是研发或者使用第三方数据分析平台来分析企业的数据。

数据分析平台发展到目前为止分为四个阶段:

离线报表系统

支持编写SQL的数据分析平台,比如 HUE(可以获得源码)

自助式数据分析平台,比如tableau,powerbi,FineBI

人工智能数据分析平台,比如 C3B2(可以获得源码)

离线报表系统

早期研发的数据分析平台,比较固定的报表需求一般都会以离线报表的方式呈现,直到今天地位依然很高(数据量大的情况下,即席查询比较难应付并发高的数据查询).

附上一张离线报表呈现截图:

2a9d651d4f2a8cf30ba4fb62a8742086.png

SQL分析平台

离线报表虽然好用,但是运营频繁的提临时数据分析需求时(有些报表就用一次),数据开发很难快速响应,于是在离线报表系统的基础上支持运营写SQL的功能,一定程度上减少了临时报表需求。SQL分析平台每个云平台都有提供,当然也可以在自己的离线报表系统中嵌入开源的HUE数据分析平台就基本够用了,各家SQL分析平台功能上大同小异。

HUE SQL分析平台截图:

a0f895bb50a7c049e2c4f4a3d1679562.png

自助式数据分析平台

SQL分析平台虽然功能强大,但是大多数产品和运营不会写SQL,所以出现了自助式数据分析平台,就是在SQL上封装了一层交互UI,使得不会写SQL的运营也可以使用,自助式数据分析平台解决的是不会写SQL或者是嫌写SQL麻烦的问题,目前经常用于应付即系查询场景,大多数企业的数据平台正往这个方向发展。比较流行的自助式数据分析平台有海外的tableau和国内的FineBI。

98e6c4a3bfdd915ede29310426a3040f.png

人工智能数据分析平台

自助式数据分析平台虽然上手难度降低了很多,但是制作一张报表依然有点麻烦,而且使用数据分析平台时还有几个烦人的问题,比如看离线报表得去离线报表系统看(提离线报表需求开发流程还很长),需要即席查询得使用自助式分析平台。随着人工智能思想的普及,开始有企业研发人工智能数据分析平台(比如C3B2),人工智能数据分析平台主要解决两个问题,AI生成报表(离线报表中的截图就是AI生成的)和自动兼容企业底层的多种数据源(比如部分企业底层用的Presto+Hive,部分用的PostgreSQL)。

AI分析截图(一键分析):

0285237756f4471e3d933f1c91db35f1.png 自动选择结果展示组件:

1c3b980b5f0421e512e8e2db4af7ddc1.png

总结

每一代的数据分析平台都是为了解决问题而产生,所以我们不以现在的眼光看待以前,对于未来,比较看好人工智能数据分析平台的发展,主要是目前的数据分析还是比较繁琐的,如果AI可以承担一部分繁杂的工作,何乐而不为呢。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1、下载并安装mysql,将脚本执行至数据库中; 2、配置java环境,使用jdk8,配置环境变量,下载IntelliJ IDEA 2019.2.4,该工具为java代码编译器 3、下载Maven,配置至环境变量(百度搜索很多),将构建器为Maven,类库配置成阿里库(方法:百度搜索很多很多) 4、将工程导入后,在application-local.yml文件中配置数据库 5、在logback-prod.xml文件中配置log日志 6、配置完毕后,即可启动 访问地址:http://localhost:8082/anime/login.html 用户名:admin 密码:admin V:china1866 1、 登录 2、 首页 3、 权限管理-用户管理 4、 权限管理-添加用户数据 5、 交通数据管理-查看交通数据 6、 交通数据管理-添加交通数据 7、 交通预测-交通数据预测 脚本: CREATE TABLE `traffic_data_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '序列', `trafficId` VARCHAR(50) NULL DEFAULT NULL COMMENT '交通数据编号', `trafficContent` VARCHAR(50) NULL DEFAULT NULL COMMENT '交通状况', `trafficSection` VARCHAR(200) NULL DEFAULT NULL COMMENT '交通路段', `trafficMan` VARCHAR(200) NULL DEFAULT NULL COMMENT '上报人', `trafficDate` VARCHAR(200) NULL DEFAULT NULL COMMENT '上报时间', `status` VARCHAR(200) NULL DEFAULT NULL COMMENT '交通状态', PRIMARY KEY (`id`) ) COMMENT='交通数据表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=44 ; CREATE TABLE `sys_user_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `role_id` INT(11) NULL DEFAULT NULL COMMENT '角色ID', `user_id` VARCHAR(50) NOT NULL COMMENT '用户ID', `user_name` VARCHAR(100) NOT NULL COMMENT '用户名', `status` INT(11) NOT NULL COMMENT '是否有效0:false\\\\1:true', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(100) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(100) NULL DEFAULT NULL, `password` VARCHAR(128) NOT NULL, `tenantcode` VARCHAR(50) NOT NULL, `diskId` VARCHAR(500) NULL DEFAULT NULL, `remarks` VARCHAR(500) NULL DEFAULT NULL, PRIMARY KEY (`id`) ) COMMENT='系统用户表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=51 ; CREATE TABLE `sys_role_t` ( `role_id` INT(11) NOT NULL COMMENT '角色ID', `role_name` VARCHAR(200) NOT NULL COMMENT '权限名称', `status` INT(11) NOT NULL COMMENT '是否有效0:true\\\\1:false', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(100) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(100) NULL DEFAULT NULL ) COMMENT='系统角色表' COLLATE='utf8_general_ci' ENGINE=InnoDB ; CREATE TABLE `sys_menu_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '序列', `parent_id` VARCHAR(50) NOT NULL COMMENT '父节点ID', `menu_id` VARCHAR(50) NOT NULL COMMENT '菜单ID', `menu_name` VARCHAR(200) NOT NULL COMMENT '菜单名称', `menu_url` VARCHAR(200) NULL DEFAULT NULL COMMENT '菜单URL', `status` INT(11) NOT NULL COMMENT '有效(0有效,1失效)', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(200) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(200) NULL DEFAULT NULL, PRIMARY KEY (`id`) ) COMMENT='菜单表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=33 ; CREATE TABLE `sys_menu_role_relation_t` ( `id` INT(11) NOT NULL AUTO_INCREMENT COMMENT '序列', `menu_id` VARCHAR(50) NOT NULL COMMENT '菜单ID', `role_id` VARCHAR(50) NOT NULL COMMENT '角色ID', `status` INT(11) NOT NULL COMMENT '有效(0有效,1失效)', `create_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `create_by` VARCHAR(200) NULL DEFAULT NULL, `last_update_date` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP, `last_update_by` VARCHAR(200) NULL DEFAULT NULL, PRIMARY KEY (`id`) ) COMMENT='角色与菜单关系表' COLLATE='utf8_general_ci' ENGINE=InnoDB AUTO_INCREMENT=51 ;
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值