大数据教育平台数仓实时计算实现 附安装包与脚本

已于 2023-01-31 12:00:04 修改
阅读量1.4k 收藏 5
点赞数
分类专栏： Hadoop Hive Spark 大数据安全 文章标签： 大数据 spark 分布式
于 2022-10-07 19:24:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35029061/article/details/127191790
版权
本文详细介绍了如何使用Spark Streaming构建一个实时大数据教育平台，涵盖了项目需求分析、技术选型、环境准备、项目代码实现和调优。通过对接Kafka，实现了注册人数、学员做题正确率、页面转换率等关键指标的实时统计，并提供了相关代码示例和调优策略，确保数据不丢失和系统高吞吐量。
摘要由CSDN通过智能技术生成

一、Spark Streaming

Spark Streaming 是核心Spark API的扩展，可实现实时数据的可扩展，高吞吐量，容错处理。数据可以从许多来源（如Kafka,Flume,Kinesis,或TCP套接字）中获取，并可以使用高级函数进行处理，处理完后的数据可以推送到文件系统，数据库和实时仪表板。

在内部，他的工作原理如下，Spark Streaming接收实时输入数据流并将数据分成批处理，然后由Spark引擎处理以批处理生成最终结果流。 

二、实时项目需求及架构设计

1、项目需求分析

  • 数据采集平台
了解本专栏 订阅专栏 解锁全文 超级会员免费看
wespten
关注
专栏目录
订阅专栏
大数据教育平台数据仓库系统搭建 附安装包与脚本
悦分享
10-07 1302
需求3：基于dws.dws_qz_chapter、dws.dws_qz_course、dws.dws_qz_major、dws.dws_qz_paper、dws.dws_qz_question、dwd.dwd_qz_member_paper_question 合成宽表dw.user_paper_detail,使用spark sql和dataframe api操作。创建EtlDatService清洗类,使用该类读取hdfs上的原始日志数据，对原始日志进行清洗处理，对敏感字段姓名、电话做脱敏处理。
32 大数据项目之电商数仓（业务数据采集平台）
08-26 729
文章目录第 1 章 电商业务简介1.1 电商业务流程1.2 电商常识（SKU、SPU）1.3 电商业务表结构1.3.1 订单表（order_info）1.3.2 订单详情表（order_detail）1.3.3 SKU 商品表（sku_info）1.3.4 用户表（user_info）1.3.5 商品一级分类表（base_category1）1.3.6 商品二级分类表（base_category2）1.3.7 商品三级分类表（base_category3）1.3.8 支付流水表（payment_info）1
项目实时(风控)-大数据板块设计
12-21
大数据板块设计(阶段2) 用户登陆风险评估 检查出⾮⽤户登录，或者账号被盗窃等潜在⻛险挖掘。 通过对用户登录行为进行分析，提高了预测的准确性；可以应用于互联网金融风控技术中，也可应用于普通网站的用户恶意登录识别技术中 异地登录认定有⻛险（不在⽤户经常登陆地） 登录的位移速度超过正常值，认定有⻛险 更换设备，认定有⻛险 登录时段-习惯，出现了异常，存在⻛险 每天的累计登录次数超过上限，认定有⻛险 密码输⼊错误或者输⼊差异性较⼤，认定⻛险 如果⽤户的输⼊特征（输⼊每个控件所需时⻓ ms）发⽣变化 参考:https://zhuanli.tianyancha.com/796c88e9c3d67d3a9
大数据项目之实时项目（待更）
FreedomZzzzz的博客
01-06 831
一.项目目的 二.项目流程 三.项目操作 事先准备好环境 1.start-al.sh 2. ./zkmanager start 3. ./start-kafka 4.启动Redis服务（我的Redis在hdp-2上） bin路径下 ./redis-server ../redis.conf 1.将gmall-logger-0.0.1-SNAPSHOT....
2024 年 25 个大数据项目 [附源代码]
最新发布
纸上得来终觉浅，绝知此事要躬行
10-08 804
​ 近年来，大数据和人工智能蓬勃发展，对这些技术的重视将推动它们走向新的高度。公司已经意识到大数据的价值，各种各样的机会正在敲开你的大门。如果你是一名大四的大数据专业学生，现在是开始从事大数据项目的理想时机。本文为您的下一个大数据项目提供了当前建议。您可以查看最好的大数据课程，深入了解大数据工具和技术，为在该领域的工作做好准备。本文将提供大数据项目示例、针对大四学生的大数据项目、带有源代码的数据小项目和一些大数据示例项目。本文还将讨论一些使用 Hadoop 的大数据项目和使用 Spark
大数据实时项目
shuangyueliao的专栏
10-17 733
项目说明 日志收集模块 运行gmall0311-logger项目下的Gmall0311LoggerApplication，启动web服务收集上传过来的日志并存进kafka中 运行gmall0311-mock项目下的JsonMocker，模拟app应用上传日志到web端 查看kafka，可以看到数据已保存到kafka 实时预警 根据日志数据中的系统报错异常，或者用户行为异常检测，产生预警日志并图形化展示 需求：同一设备，5分钟内三次及以上用不同账号登录并领取优惠劵，并且在登录到领劵过程中没有浏览商品。达
Mesa - 谷歌近实时分析型数据仓库
热门推荐
colorant的专栏
03-03 1万+
Mesa并不是一个从底层开始重新构建的系统，它依托Colossus提供分布式数据存储服务，依托Bigtable做元数据存储。使用MapReduce进行批量数据处理工作。之所以能实现它所声称的这些底层系统所不具备的综合能力（高一致性＋原子更新＋低延时＋近实时＋海量吞吐率），其原因还是因为它针对了广告数据的应用场景，采用了各种类似系统的最佳实践和一些特定的Tradeoff策略
点触科技：构建实时计算和数据仓库解决方案
阿里云云栖号
03-25 2384
公司介绍 厦门点触科技股份有限公司，新三板挂牌企业（股票代码：870702），成立于2013年，是一家以历史养成类游戏研发与发行为主，专业从事手机游戏的策划、研发制作、商业化运营的创新型发展公司。目前已经成功研发出《叫我万岁爷》、《我在大清当皇帝》、《Game of Sultan》、《皇上吉祥》等多款历史题材类游戏并深受玩家喜爱。覆盖了全国及港台、东南亚等部分海外市场。 业务痛点 对数据库的...
大数据数仓平台环境搭建
qq_38613380的博客
03-26 1490
1.基础环境 1.1.软件环境 本文将介绍Centos7.2 离线安装CDH和Cloudera Manager过程，软件版本如下： NO. 软件名称 版本 操作系统 Centos7.2 64 位 JDK jdk-8u191-linux-x64 Clouder Manager cm5.15.0 CDH CDH5.15.0 数据库 postgresql9.6 1.2.配置规划 本次安装共4台服务器...
[数仓]一、离线数仓（日志数据采集）
weixin_44428807的博客
07-06 1572
G:\Bigdata\Projects\电商数仓4.0数据仓库（ Data Warehouse ），是为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程、提高产品质量等。和等就是各行业在处理事务过程中产生的数据。比如用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据就是业务数据业务数据通常存储在MySQL、Oracle等数据库中。：用户在使用产品过程中，通过埋点收集与客户端产品交互过程中产生的数据，并发往日志服务器进行保存。
大数据之实时项目--第4天 （ Nginx）
weixin_39868387的博客
02-15 254
上篇：大数据之实时项目–第3天 （ 日志服务器搭建） 1、Nginx是什么 定义： Nginx (“engine x”) 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。 2、nginx与tomcat之间的关系： 除了tomcat以外，ap...
大数据实战项目教程等
10-08
大数据实战项目教程等
大数据真实数仓项目完整版
12-21
大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。
大数据之实时项目--第1天 （ 项目搭建）
weixin_39868387的博客
02-13 318
1、打开IDEA工具创建maven工程 搭建图，如下： 搭建ok，如图所示： 项目工程依赖关系，流程图如图表示： 2、对创建好的工程jar包引入 首先，以上是父工程创建完毕后，我们需要在父工程的pom.xml文件做依赖关系，添加依赖jar文件： <properties> <spark.version>2.1.1</spark.version> ...
实时计算与实时数仓对比
weixin_42796403的博客
03-13 443
实时计算与实时数仓比较 普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线上升。 实时数仓基于一定的数据仓库理念，对数据处理流程进行规划、分层，目的是提高数据的复用性。 ...
实时数仓实战
whalecloud的博客
06-13 3694
以最大的实时性及灵活度应对千变万化的业务挑战
Flink大数据实时标签实时ETL -- 项目介绍1
AyubLIbra的博客
03-26 5461
Flink实时标签，实时ETL
大数据高并发场景下存量/增量指标实时计算方法
南熏门前一只喵
04-08 1860
场景如下： 设备每10分钟上报一次A指标数据，需要对设备的A指标数据进行日增量/存量打标。即对于A指标，标记设备是存量设备还是增量设备。 日存量/增量判断标准：将当日设备上报A指标数据的总次数，与该设备前30天内上报的A指标数据的总次数进行对比。假如前30天内总次数超过n次且当日上报A指标数据的总次数超过n次则为该设备打存量标记。假如前30天内总次数小于n次且当日上报A指标数据的总次数超过n次则...
记录一下互联网日志实时收集和实时计算的简单方案
java的平凡之路
11-21 2055
作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。 后来，根据业务需要，我们有了两个Hadoop集群，并且部署在不同的地方（北京和西安），而所有的日志收集服务器在北京，因
掌握Hadoop大数据平台：架构、实践与关键组件
Apache Hadoop是一个可靠的、可扩展的分布式计算开源软件框架，专为大规模数据处理而设计。其核心在于简化编程模型，能够在多台计算机组成的集群中分布式地处理海量数据。Hadoop的主要模块包括： 1. **Hadoop ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wespten

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值