大数据实时项目
文章平均质量分 97
工藤-新二
自由与爱
展开
-
实时数仓项目-实时数据采集
文章目录第1章 实时需求概览1.1 实时需求与离线需求的比较1.2 数仓架构设计1.2.1 离线image-202101201154530071.2.2 实时1.3 本项目主要需求1.3.1 当日用户首次登录(日活)分时趋势图,昨日对比1.3.2 当日新增付费用户(首单)分析(ods+dwd)1.3.3 订单明细实付金额分摊以及交易额统计(dws)1.3.4 ADS聚合及可视化(ads)第2章 项目数据准备2.1 模拟日志生成器的使用2.2 开发SpringBoot程序gm原创 2021-02-05 18:31:05 · 972 阅读 · 0 评论 -
ElasticSearch详细教程-基础加实战
文章目录第1章 ElasticSearch基础1.1 简介1.2 使用场景1.3 ES与其他数据存储进行比较1.4 ElasticSearch的特点1.4.1 天然分片,天然集群1.4.2 天然索引1.5 Lucene、Nutch、ElasticSearch关系第2章 ElasticSearch的安装2.1 上传安装包2.2 将ES解压到/opt/module目录下2.3 在/opt/module目录下对ES重命名2.4 修改ES配置文件2.5 教学环境启动优化2.6 分发ES2.原创 2021-02-05 18:33:21 · 1503 阅读 · 2 评论 -
Spark之实时项目-需求一日活
文章目录大数据技术之实时项目-需求一日活第1章 需求分析及实现思路1.1 当日用户首次登录(日活)分时趋势图,昨日对比1.2 实现思路1.2.1 功能1:SparkStreaming消费kafka数据1.2.2 功能2:利用redis过滤当日已经计入的日活设备(对一个用户的多次访问进行去重)1.2.3 功能3:把每批次新增的当日日活信息保存到ES中1.2.4 功能4:从ES中查询出数据,发布成数据接口,可视化工程进行调用第2章 功能实现2.1 环境搭建以及编写基础工具类2.1.1 在原创 2021-03-12 18:19:01 · 1040 阅读 · 0 评论