大数据秋招学习笔记17

最新推荐文章于 2024-10-08 09:12:18 发布
最新推荐文章于 2024-10-08 09:12:18 发布
阅读量171 收藏
点赞数
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44427262/article/details/119919244
版权
本文探讨了如何搭建用户和业务数据采集平台，进行数据仓库维度建模，针对电商核心主题设计100+报表指标，并利用即席查询工具进行实时分析。同时涵盖了集群性能监控、元数据管理和质量控制，确保系统的稳定性和准确性。
摘要由CSDN通过智能技术生成

离线数仓项目：
1）项目需求：
1、用户行为数据采集平台搭建
2、业务数据采集平台搭建
3、数据仓库维度建模
4、分析，设 备、会员、商品、地 区、活动等电商核心主题，统计的报表指标近100个。
5、采用即席查询工具，随时进行指标分析
6、对集群性能进行监控，发生异常需要报警
7、元数据管理
8、质量监控

Boogie。
关注
大数据秋招学习笔记4
qq_44427262的博客
08-03 218
Kafka基础知识： 1）Kafka 是一个分布式的基于发布/订阅模式的消息队列，主要应用于 大数据实时处理领域。 2）Kafka数据可靠性保证： 为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer 发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果producer 收到 ack，就会进行下一轮的发送，否则重新发送数据。 确保有follower与leader同步完成，le
大数据秋招学习笔记2
qq_44427262的博客
08-02 146
ZooKeeper基础知识： 1）ZooKeeper是一个基于观察者模式的分布式服务管理框架，负责存储与管理数据，接收观察者注册，一旦数据状态发生变化 ，会通知观察者做出相应反应。 2）ZooKeeper特点： （1）一个leader，多个follower组成的集群。 （2）集群中只要有半数以上节点存活，就能正常服务。 （3）全局数据一致，每个server上保存相同的数据副本。 （4）更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行。 （5）数据更新原子性。 （6）实时性。 3）应用场
大数据秋招学习笔记10
qq_44427262的博客
08-08 257
Hbase基础知识： 1）HBase 定义：HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。 2）HBase 基本架构： （1）Region Server ： Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下: 对于数据的操作：get, put, delete； 对于 Region 的操作：splitRegion、compactRegion。 （2）Master ： Master 是所有 Region Server 的管理
大数据秋招学习笔记13
qq_44427262的博客
08-13 336
实时数仓项目： 离线需求： 就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop 的 MapReduce 方式；一般是根据前一日的数据生成报表，虽然统计指标、报表繁多，但是对时效性不敏感。 实时需求： 输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。与离线计算相比，运行时间短，计算量级相对较小。强调计算过程的时间要短，即所查当下给出结果。主要侧
大数据秋招学习笔记6
qq_44427262的博客
08-04 200
Spark Core基础知识： 1）Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2）MapReduce和Spark ： （1）MapReduce无法满足循环迭代式数据流处理，在多 并行运行的数据可复用场景中存在诸多计算效率等问题。Spark 就是在传统的 MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度， （2） Spark 多个作业之间数据通信是基于内存，而 MapReduce 是基于磁盘。在实际的生产环境中，由于内存的限制
大数据秋招学习笔记3
qq_44427262的博客
08-07 211
Hive基础知识： 1）用于解决海量结构化日志的数据统计工具，可将结构的数据文件映射为一张表，并提供类 SQL 查询功能。本质就是将 HQL 转化成 MapReduce 程序。处理的数据存储在 HDFS上，分析数据底层的实现是 MapReduce，执行程序运行在 Yarn 上。 2）优缺点： 优点：（1）操作接口采用类 SQL 语法，提供快速开发的能力。 （2）避免了去写 MapReduce，减少开发人员的学习成本。 （3）优势在于处理大数据 。 （4）支持用户自定义函数，用户可以根据自己的需求来实现自己的
大数据秋招学习笔记9
qq_44427262的博客
08-08 172
Mysql基础知识： 1）事务的ACID属性： 1. 原子性（Atomicity）原子性是指事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生。 2. 一致性（Consistency）事务必须使数据库从一个一致性状态变换到另外一个一致性状态。 3. 隔离性（Isolation）事务的隔离性是指一个事务的执行不能被其他事务干扰，即一个事务内部的操作及使用的数据对并发的其他事务是隔离的，并发执行的各个事务之间不能互相干扰。 4. 持久性（Durability）持久性是指一个事务一旦被提交，它对数
大数据秋招学习笔记14
qq_44427262的博客
08-13 142
java并发： 1）守护线程（即daemon thread），是个服务线程，准确地来说就是服务其他的线程，这是它的作用——而其他的线程只有一种，那就是用户线程。 所以java里线程分2种，1、守护线程，比如垃圾回收线程，就是最典型的守护线程。2、用户线程，就是应用程序里的自定义线程。 守护线程： （1）守护线程，专门用于服务其他的线程，如果其他的线程（即用户自定义线程）都执行完毕，连main线程也执行完毕，那么jvm就会退出（即停止运行）——此时，连jvm都停止运行了，守护线程当然也就停止执行了。 （2）再
大数据秋招学习笔记1
qq_44427262的博客
08-03 214
Hadoop基础知识： 1）bigdata特点：4V，大量(volume)，高速(velocity)，多样性(variety)，低价值密度(value)。 2）Hadoop是Apache基金会开发的分布式系统基础架构，主要用于解决海量数据的存储和分析计算问题，广义上通常指Hadoop生态圈。 3）Hadoop1.* 和 Hadoop2.* 的区别：Hadoop1.* 中的Mapreduce同时负责业务逻辑计算与资源的调度，Hadoop2.* 中增加了Yarn，Yarn负责资源调度，Mapreduce只负责运
秋招 技术岗面试 （大数据岗，Java岗）分享
05-07
制定复习计划，了解岗位要求，结合个人情况确定学习内容，使用辅助工具如印象笔记、Xmind和Goodnotes进行记录和整理，手写笔记以加深印象，包括公式推导和编写代码。 【复习心态】 面对大量的学习内容，要保持积极...
2024年最新的大数据学习路线及职业规划指南_成为大数据工程师的职业路径(2)
2401_84181942的博客
05-03 1075
相信大家看完了上述内容后一定会对大数据有个宏观的认识，细心的同学也可能发现了大数据路线中还缺少两个模块，项目和源码，怎么说呢，我也有点发愁，所以我准备发完文章后好好去整理一下，既然整理了，那就全部搞完吧。我会尽量在下次发文的时候整理好学习大数据所需的资料，包括文档视频书籍等。好了，今天的文章就到这里了，我是Simon郎，一个Java开发，却在秋招出轨大数据的应届生，如果不嫌弃我，欢迎关注在看和。参考文献。
大数据最全【秋招面试】面试准备（一面准备）_秋招面试是什么样(1)
2401_84181403的博客
05-04 1024
项目背景：受互联网+概念，疫情影响，在线教育，K12教育等发展火热，越来越多的平台机构涌现。但是由于信息的共享利用不充分，导致企业多年积累了大量数据，而因为信息孤岛的问题，一直没有对这些数据进一步挖掘分析，因此也不能给企业的管理决策层提供有效的数据支撑。项目价值：我们做的这个教育大数据分析平台项目，将大数据技术应用于教育行业，用擅长分析的OLAP系统为企业经营提供数据支撑。
分布式 + 中间件 + 大数据与高并发 + 数据库 + 跳槽须知，跳槽人秋招入大厂必备事项
Q54665642ljf的博客
08-28 146
有一种说法，说今年 7、8 月份，不适合职场人跳槽。不知道这话是从哪传出来的，但可以很肯定一点，这绝对是谬论。虽说 7、8 月是应届生求职集中月，但还是有一些公司留下了很多管理层、技能型岗位的缺口。这类岗位，对工作经验要求较高，一般企业不会也不愿降低要求录用毕业生。因此，对想跳槽的职场人而言，毕业季跳槽也不失为一个好机会。......
系统架构设计师：数据库系统相关考题预测
Programming Talk
10-08 315
针对这些主题，可以准备一些实际案例分析题目，例如给定一个具体的应用场景或业务需求，要求设计一个相应的数据库架构方案。也可以准备一些理论性的题目，探讨不同数据库设计决策背后的原理。请注意，这些题目仅供参考，实际考试可能会有所不同。B. 非聚簇索引（Nonclustered Index）A. 聚簇索引（Clustered Index）D. 全文索引（Full-text Index）6. 以下哪种类型的索引能够提供最快的访问速度？C. 唯一索引（Unique Index）B. 一致性（Consistency）
大数据分析入门概述
m0_47498690的博客
10-04 2784
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
netty之SpringBoot+Netty+Elasticsearch收集日志信息数据存储
CSDN_LiMingfly的博客
10-04 930
将大量的业务以及用户行为数据存储起来用于分析处理，但是由于数据量较大且需要具备可分析功能所以将数据存储到文件系统更为合理。尤其是一些互联网高并发级应用，往往数据库都采用分库分表设计，那么将这些分散的数据通过binlog汇总到一个统一的文件系统就显得非常有必要。#开发环境环境准备windows安装包 下载注意 es是以来java环境 所以需要安装jdk 支持1.7以上es-hander下载可视化操作插件@Id//姓名//年龄//级别//时间//电话//邮箱//地址。
大数据行业应用实训室建设方案
最新发布
whwzzc的博客
10-08 1183
大数据项目实训平台确实是一个功能强大的工具，它不仅能够满足学校各种形式的实训教学活动需求，如实训周、小学期、综合课程设计等，还能提供小组分工协作的支持，为每个项目小组分配一套虚拟服务器集群，确保实训的顺利进行。唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。此外，实训资源的不足严重阻碍了学生技能的培养。
项目管理-信息技术发展
GAVIN
10-04 751
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
大数据Hadoop学习笔记深度解析与就业指南
本资源是一份全面的大数据学习笔记汇总，主要关注于Hadoop技术的学习和发展。笔记内容分为六个部分： 1. **HADOOP入门** 部分首先介绍了大数据课程的基本内容，包括课程概述、学习建议、就业前景和Hadoop的发展规划...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值