项目
文章平均质量分 87
本人做的一些项目
一个人的牛牛
一个人的牛牛,要么孤独,要么庸俗!踏踏实实从头开始!
展开
-
springboot+mybatis+echarts +mysql制作数据可视化大屏
成果展示:1)可以使用自己的MySQL数据库;2)使用我提供的数据。(免费下载)gmall_report用于可视化的SQL文件-MySQL文档类资源-CSDN下载MySQLIDEAjdk1.8Maven创建springboot项目有二种方式:1)在IDEA中创建2)在官网上创建我喜欢在官网创建官网地址(记得收藏):https://start.spring.io/ 注:1)注意红色框框的地方,选择你想要的版本和与你的计算机相应的配置;2)在1.处点击添加相关依赖;3)在2.处点击生成初始代码并下载。下面给出原创 2022-07-08 19:35:07 · 11617 阅读 · 269 评论 -
大数据项目离线数仓(全)四(可视化代码版)
来咯来咯!你们要的可视化代码版来咯来咯!本文仅仅包含可视化的代码版,本项目的其他内容请关注我的博客!在专栏里!!!目录一、所需工具二、数据源准备三、项目框架搭建3.1新建springboot项目3.1.1进入官网3.1.2创建项目四、后端代码编写4.1根据需求修改pom.xml4.2配置数据源4.3创建目录结构4.4后端编写代码4.4.1entity类4.4.2dao4.4.3service4.4.4controller4.5测试五、前端代码编写5.1准备5.2创建包 5.3代码编写5.3.1配置静....原创 2022-07-07 15:29:48 · 1167 阅读 · 14 评论 -
大数据项目离线数仓(全)三(可视化工具版)
本文仅仅包含可视化的工具版,其他内容请关注我的博客!在专栏里!!!本篇文章参考尚硅谷大数据项目写成!可视化的代码版后期更新!敬请期待!!!目录工具可视化(superset)介绍:一、安装准备1.1安装Miniconda二、安装配置2.1安装Miniconda2.2安装python3.6环境 2.3配置superset2.4启动superset三、superset制作可视化3.1数据源配置 3.2 制作仪表盘 3.3创建图表 3.4整体可视化配置信息完成样式Superset概述Apache Super....原创 2022-06-03 23:53:11 · 1180 阅读 · 1 评论 -
sqoop导出数据到MySQL
本文承接我的《大数据项目离线数仓》把ODS层的数据导出到MySQL,用于可视化的制作。《大数据项目离线数仓》的其它文章在我的专栏《项目》中。目录1.1创建MySQL数据库1.2创建MySQL表1.3sqoop导出脚本创建gmall_report数据库1.2创建MySQL表创建表(mysql表和ADS中的表同步,但不需要全部创建,根据自己的可视化内容创建)下面给出我的一些mysql表:###创建用户主题表###创建地区主题表###创建活跃设备数表###创建漏斗分析表###创建原创 2022-07-07 13:08:49 · 2533 阅读 · 0 评论 -
大数据项目离线数仓(全 )二(数仓系统)
一、数据仓库系统1.1基础概念3.1.1数据分层的好处1.把复杂问题简单化,将复杂的任务分解成多层来完成,每一层只处理简单任务,方便定位问题。2.减少重复开发,规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。3.隔离原始数据:不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。3.1.2数据分层ODS:原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。DWD:对ODS层数据进行清洗(去除空值,脏数据,超过极限范围原创 2022-05-28 09:25:34 · 2864 阅读 · 1 评论 -
数据仓库搭建ADS层
本篇只是ADS层,其他内容请关注我的博客!在<项目>专栏里!!!本篇文章参考尚硅谷大数据项目写成!搭建ADS层ADS层不涉及建模,建表根据具体需求而定。一、设备主题1.1活跃设备数(日、周、月)需求定义:日活:当日活跃的设备数周活:当周活跃的设备数月活:当月活跃的设备数1)建表语句create external table ads_uv_count( `dt` string COMMENT '统计日期', `day_count...原创 2022-05-27 21:12:43 · 3477 阅读 · 0 评论 -
数据仓库搭建DWT层
本篇只是DWT层,其他内容请关注我的博客!在<项目>专栏里!!!本篇文章参考尚硅谷大数据项目写成!目录一、DWT层1.设备主题宽表2.会员主题宽表3.商品主题宽表4.活动主题宽表5.地区主题宽表二、数据导入脚本一、DWT层1.设备主题宽表1)建表语句create external table dwt_uv_topic( `mid_id` string comment '设备id', `brand` string原创 2022-05-27 11:39:01 · 940 阅读 · 0 评论 -
数据仓库搭建DWS层
本篇只是DWS层,其他内容请关注我的博客!在<项目>专栏里!!!本篇文章参考尚硅谷大数据项目写成!一、业务术语1)用户用户以设备为判断标准,在移动统计中,每个独立设备认为是一个独立用户。Android系统根据IMEI号,IOS系统根据OpenUDID来标识一个独立用户,每部手机一个用户。2)新增用户首次联网使用应用的用户。如果一个用户首次打开某APP,那这个用户定义为新增用户;卸载再安装的设备,不会被算作一次新增。新增用户包括日新增用户、周新增用户、月新增用户。原创 2022-05-27 10:34:14 · 1295 阅读 · 0 评论 -
数据仓库搭建DWD层
其他内容请关注我的博客!在<项目>专栏里!!!一、用户行为日志1.1日志格式页面埋点日志启动日志1.2get_json_object函数使用1.取出第一个json的值select get_json_object('[{"name":"大郎","sex":"男","age":"25"},{"name":"西门庆","sex":"男","age":"47"}]','$[0]');2.取出第一个json的age字段的值SELECT..原创 2022-05-26 23:05:08 · 889 阅读 · 0 评论 -
数据仓库搭建ODS层
其他内容请关注我的博客!在<项目>专栏里!!!目录一、用户行为数据1.1创建日志表1.2ODS层加载数据脚本二、业务数据2.1hive建表2.2ODS层加载数据脚本一、用户行为数据1.1创建日志表1)创建支持lzo压缩的分区表drop table if exists ods_log;CREATE EXTERNAL TABLE ods_log (`line` string)PARTITIONED BY (`dt` string) --原创 2022-05-24 15:39:48 · 1361 阅读 · 0 评论 -
大数据项目离线数仓(全 )一(数据采集平台)
一、用户行为数据采集平台二、业务数据采集平台三、数据仓库系统四、可视化报表原创 2022-05-24 14:56:01 · 4276 阅读 · 6 评论 -
MySQL项目--电商平台--数据库搭建
目录一、前期准备1.1安装MySQL二、基础知识2.1电商流程2.2SKU和SPU2.3涉及的表三、项目搭建3.1登录root用户3.2创建用户3.3创建数据库3.4建表一、前期准备1.1安装MySQLLinux安装MySQL5.7(CentOS7)_一个人的牛牛的博客-CSDN博客二、基础知识2.1电商流程电商的主要业务流程涉及商品详情、用户个人中心、支付服务、订单后台服务。根据流程由此产生多个表。店主添加商品;用户点开电商.原创 2022-05-11 13:59:26 · 5789 阅读 · 0 评论 -
flume+kafka+SparkStreaming实时日志分析+结果存储到MySQL
目录一.说明二.flume三.kafka四.MySQL五.IDEA写程序六.运行一.说明1.1使用工具:IDEA,spark-2.1.0-bin-hadoop2.7,kafka_2.11-2.3.1,zookeeper-3.4.5,apache-flume-1.9.0-bin,jdk1.8.0_171Scala版本:2.12.15相关工具的安装请关注我的博客!1.2日志可以到这里下载:testlog7.log-spark文档类资源-CSDN下载也可以用..原创 2021-12-22 21:41:10 · 2339 阅读 · 0 评论