2024年大数据最新大数据平台架构浅析——以讯飞大数据平台Odeon为例(1)，2024年最新2024最新大数据开发面试笔试题目分享

于 2024-05-14 01:11:57 发布
阅读量292 收藏 6
点赞数 3
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84592266/article/details/138826673
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

  • 不支持复杂的事务，只支持行级事务，即单行数据的读写都是原子性的；

  • 由于是采用 HDFS 作为底层存储，所以和 HDFS 一样，支持结构化、半结构化和非结构化的存储；

  • 支持通过增加机器进行横向扩展；

  • 支持数据分片；

  • 支持 RegionServers 之间的自动故障转移；

  • 易于使用的 Java 客户端 API；

  • 支持 BlockCache 和布隆过滤器；
    举个例子

  • RowKey 为行的唯一标识，所有行按照 RowKey 的字典序进行排序；

  • 该表具有两个列族，分别是 personal 和 office;

  • 其中列族 personal 拥有 name、city、phone 三个列，列族 office 拥有 tel、addres 两个列。
    在这里插入图片描述

特点

  • 容量大：一个表可以有数十亿行，上百万列；
  • 面向列：数据是按照列存储，每一列都单独存放，数据即索引，在查询时可以只访问指定列的数据，有效地降低了系统的 I/O 负担；
  • 稀疏性：空 (null) 列并不占用存储空间，表可以设计的非常稀疏 ；
  • 数据多版本：每个单元中的数据可以有多个版本，按照时间戳排序，新的数据在最上面；
  • 存储类型：所有数据的底层存储格式都是字节数组 (byte[])。
    Phoenix

Phoenix 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前，如果你要访问 HBase，只能调用它的 Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。

Phoenix 的理念是 we put sql SQL back in NOSQL，即你可以使用标准的 SQL 就能完成对 HBase 上数据的操作。

同时这也意味着你可以通过集成 Spring Data JPA 或 Mybatis 等常用的持久层框架来操作 HBase。

其次 Phoenix 的性能表现也非常优异，Phoenix 查询引擎会将 SQL 查询转换为一个或多个 HBase Scan，通过并行执行来生成标准的 JDBC 结果集。它通过直接使用 HBase API 以及协处理器和自定义过滤器，可以为小型数据查询提供毫秒级的性能，为千万行数据的查询提供秒级的性能。同时 Phoenix 还拥有二级索引等 HBase 不具备的特性，因为以上的优点，所以 Phoenix 成为了 HBase 最优秀的 SQL 中间层。

  • 支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog
  • 支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）
  • 什么是job?
    Job简单讲就是提交给spark的任务。
  • 什么是stage?
    Stage是每一个job处理过程要分为的几个阶段。
  • 什么是task?
    Task是每一个job处理过程要分几为几次任务。Task是任务运行的最小单位。最终是要以task为单位运行在executor中。
  • Job和stage和task之间有什么关系?
    Job----> 一个或多个stage—> 一个或多个task
  • 支持Job设计器，能够创建MapReduce/Streaming/Java Job
  • 支持Sqoop 2编辑器和仪表板（Dashboard）
  • 支持ZooKeeper浏览器和编辑器
  • 支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器
  • 使用sentry基于角色的授权以及多租户的管理.（Hue 2.x or 3.x）
数据分析

OLAP全称为在线联机分析应用，是一种对于多维数据分析查询的解决方案。典型的OLAP应用场景包括销售、市场、管理等商务报表，预算决算，经济报表等等。
最早的OLAP查询工具是发布于1970年的Express，然而完整的OLAP概念是在1993年由关系数据库之父EdgarF.Codd 提出，伴随而来的是著名的“twelvelaws of online analytical processing”. 1998年微软发布MicrosoftAnalysis Services，并且在早一年通过OLE DB for OLAP API引入MDX查询语言，2001年微软和Hyperion发布的XML forAnalysis 成为了事实上的OLAP查询标准。如今，MDX已成为与SQL旗鼓相当的OLAP 查询语言，被各家OLAP厂商先后支持。
OLAPCube是一种典型的多维数据分析技术，Cube本身可以认为是不同维度数据组成的dataset，一个OLAP Cube 可以拥有多个维度（Dimension），以及多个事实（Factor Measure）。用户通过OLAP工具从多个角度来进行数据的多维分析。通常认为OLAP包括三种基本的分析操作：上卷（rollup）、下钻（drilldown）、切片切块（slicingand dicing），原始数据经过聚合以及整理后变成一个或多个维度的视图。

传统OLAP根据数据存储方式的不同分为ROLAP（Relational OLAP）以及MOLAP（Multi-dimensionOLAP）

ROLAP 以关系模型的方式存储用作多维分析用的数据，优点在于存储体积小，查询方式灵活，然而缺点也显而易见，每次查询都需要对数据进行聚合计算，为了改善短板，ROLAP使用了列存、并行查询、查询优化、位图索引等技术

MOLAP 将分析用的数据物理上存储为多维数组的形式，形成CUBE结构。维度的属性值映射成多维数组的下标或者下标范围，事实以多维数组的值存储在数组单元中，优势是查询快速，缺点是数据量不容易控制，可能会出现维度爆炸的问题。

Apache kylin是一个开源的分布式分析引擎。它通过ANSI-SQL接口，提供基于hadoop的超大数据集（TB-PB级）的多维分析（OLAP）功能。

只需三步，kylin即可实现超大数据集上的亚秒级（sub-second latency）查询。

  • 确定hadoop上一个星型模式（Star schema）的数据集。
  • 构建数据立方体（Data cube）。
  • 可通过ODBC, JDBC,RESTful API等接口在亚秒级的延迟内查询相关数据。

OLAP-Kylin是基于Apache Kylin定制的Odeon大数据平台上的一个开源OLAP引擎。它采用多维立方体预计算技术，可以将大数据的SQL查询速度提升到亚秒级别。相对于之前的分钟乃至小时级别的查询速度，亚秒级别速度是百倍到千倍的提升，改引擎为超大规模数据集上的交互式大数据分析打开了大门。

核心组件：

数据立方体构建引擎（Cube Build Engine）：当前底层数据计算引擎支持MapReduce1、MapReduce2、Spark等。
Rest Server：当前kylin采用的ODBC, JDBC,RESTful API接口提供web服务。
查询引擎（Query Engine）：REST Server接收查询请求后，解析sql语句，生成执行计划，然后转发查询请求到Hbase中，最后将结构返回给REST Server。
在这里插入图片描述

  • 为什么引入kylin?
    由于数据是基于hadoop分布式存储,所以比mysql的伸缩性好。

提供hadoop上超大数据规模（ 百亿行级别的数据）的亚秒级（sub-second latency）SQL查询，相对于hive的离线分析，可做到实时查询。
可无缝整合其他BI工具，如Tableau, PowerBI，Excel。

在这里插入图片描述

Apache kylin核心：Kylin的（OLAP） 引擎由元数据引擎、查询引擎、任务引擎、存储引擎组成。另外，它还有一个rest服务器对外提供查询请求的服务。

可扩展性：提供插件机制支持额外的特性和功能。

与其他系统的整合：可整合任务调度器，ETL工具、监控及告警系统。

驱动包（Drivers）：提供ODBC、JDBC驱动支持与其他工具（如Tableau）的整合。
表（Table)：表定义在hive中，是数据立方体（Data cube）的数据源，在build cube 之前，必须同步在 kylin中。
模型（model）:模型描述了一个星型模式的数据结构，它定义了一个事实表（Fact Table）和多个查找表（Lookup Table）的连接和过滤关系。
立方体（Cube）：它定义了使用的模型、模型中的表的维度（dimension）、度量（measure) ,一般指聚合函数，如：sum、count、average等）、如何对段分区（ segments partition）、合并段（segments auto-merge）等的规则。
立方体段（Cube Segment）：它是立方体构建（build）后的数据载体，一个 segment 映射hbase中的一张表，立方体实例构建（build）后，会产生一个新的segment，一旦某个已经构建的立方体的原始数据发生变化，只需刷新（fresh）变化的时间段所关联的segment即可。
作业（Job）：对立方体实例发出构建（build）请求后，会产生一个作业。该作业记录了立方体实例build时的每一步任务信息。作业的状态信息反映构建立方体实例的结果信息。如作业执行的状态信息为RUNNING 时，表明立方体实例正在被构建；若作业状态信息为FINISHED ，表明立方体实例构建成功；若作业状态信息为ERROR ，表明立方体实例构建失败！作业的所有状态如下：

  1，NEW - This denotes one job has been just created.
  2，PENDING - This denotes one job is paused by job scheduler and waiting for resources.
  3，RUNNING - This denotes one job is running in progress.
  4，FINISHED - This denotes one job is successfully finished.
  5，ERROR - This denotes one job is aborted with errors.
  6，DISCARDED - This denotes one job is cancelled by end users.

当前Apache kylin构建（build）数据立方体，采用逐层算法（By Layer Cubing）。未来的发布中将采用快速立方体算法（Fast Cubing）。下面简单介绍一下逐层算法：
一个完整的数据立方体，由N-dimension立方体，N-1 dimension立方体，N-2维立方体，0 dimension立方体这样的层关系组成，除了N-dimension立方体，基于原数据计算，其他层的立方体可基于其父层的立方体计算。所以该算法的核心是N次顺序的MapReduce计算。
在MapReduce模型中，key由维度的组合的构成，value由度量的组合构成，当一个Map读到一个key-value对时，它会计算所有的子立方体（child cuboid），在每个子立方体中，Map从key中移除一个维度，将新key和value输出到reducer中。直到当所有层计算完毕，才完成数据立方体的计算

数据编程

前端使用的是hue作为web UI; 通过wappalyzer可以看出基本的部分组件

Hue是一个Web应用(默认端口8888)，用来简化用户和Hadoop集群的交互。

Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，hue是基于django框架开发，python作为底层语言。

大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC（(Remote Procedure Call)—远程过程调用）的方式调用。

为什么使用hue呢？由于大数据框架很多，为了解决某个问题，一般来说会用到多个框架，但是每个框架又都有自己的web UI监控界面，对应着不同的端口号。比如HDFS(50070)、YARN(8088)、MapReduce(19888)等。这个时候有一个统一的web UI界面去管理各个大数据常用框架是非常方便的。这就使得对大数据的开发、监控和运维更加的方便。

大数据组件常用的端口及说明
CDH7180： Cloudera Manager WebUI 端口 7182： Cloudera Manager Server 与 Agent 通讯端口
Hadoop50070：HDFS WEB UI 端口 8020 ： 高可用的 HDFS RPC 端口 9000 ： 非高可用的 HDFS RPC 端口 8088 ： Yarn 的 WEB UI 接口 8485 ： JournalNode 的 RPC 端口 8019 ： ZKFC 端口 19888：jobhistory WEB UI 端口
Zookeeper2181 ： 客户端连接 zookeeper 的端口 2888 ： zookeeper 集群内通讯使用，Leader 监听此端口 3888 ： zookeeper 端口 用于选举 leader
Hbase60010：Hbase 的 master 的 WEB UI 端口 （旧的） 新的是 16010 60030：Hbase 的 regionServer 的 WEB UI 管理端口
Hive9083 : metastore 服务默认监听端口 10000：Hive 的 JDBC 端口
Spark7077 ： spark 的 master 与 worker 进行通讯的端口 standalone 集群提交 Application 的端口 8080 ： master 的 WEB UI 端口 资源调度 8081 ： worker 的 WEB UI 端口 资源调度4040 ： Driver 的 WEB UI 端口 任务调度 18080：Spark History Server 的 WEB UI 端口
Kafka9092： Kafka 集群节点之间通信的 RPC 端口
Redis6379： Redis 服务端口
HUE8888： Hue WebUI 端口

http://221.239.36.178/

补充
  • 大数据全家桶

img

  • IaaS，PaaS，SaaS，DaaS

数据即服务（Data-as-a-Service，DaaS）是指与数据相关的任何服务都能够发生在一个集中化的位置，如聚合、数据质量管理、数据清洗等，然后再将数据提供给不同的系统和用户，而无需再考虑这些数据来自于哪些数据源。

IaaS，PaaS，SaaS

DevOps：Developer Operations Engineering，开发运维工程师。

  • RPC

RPC：远程调用。通过RPC框架，使得我们可以像调用本地方法一样地调用远程机器上的方法：

1、本地调用某个函数方法

2、本地机器的RPC框架把这个调用信息封装起来（调用的函数、入参等），序列化(json、xml等)后，通过网络传输发送给远程服务器

3、远程服务器收到调用请求后，远程机器的RPC框架反序列化获得调用信息，并根据调用信息定位到实际要执行的方法，执行完这个方法后，序列化执行结果，通过网络传输把执行结果发送回本地机器

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

中…(img-XW5SZWo7-1715620294370)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2401_84592266
关注
  • 3
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark基础，2024年最新大数据开发组件化架构实践
2401_84166811的博客
04-15 964
用于大规模数据处理的统一分析引擎特点：对任意类型（结构化、半结构化、非结构化）的数据进行自定义计算。
大数据架构新解
qq_25864747的博客
04-22 2600
大数据系统大体可以分成以下四个部分： 1，数据采集层 2，数据计算层 3，数据服务层 4，数据应用层 下图是阿里巴巴大数据系统架构图： 一、数据采集层 数据采集主要分成以下三块数据： 1，Web 端日志 2，App 端日志 3，第三方数据（比如 mysql 增量数据同步） Web 端和 App 端的日志数据都需要制定各个场景下的埋点规范，用来满足各种通用业务场景下（比如浏览、点击等）的数据分析。 Web 端和 App 端数据采集一般都有各自的埋点 SDK 和对应的埋点管理平台，用来确保埋点数据的规范和准
大数据平台架构浅析——以讯飞大数据平台Odeon为例
最新发布
2401_84166965的博客
04-27 825
主要分为结构化通道和日志通道；结构化：包含一些常用的关心型数据库，例如：MySQL，Oracle；还有k-v的MongoDB 等等。日志：一些业务上产生的锚点产生的数据等等。
大数据三种主流架构（Lambda、Kappa、IOTA）
weixin_48143996的博客
06-23 7624
数据湖内的数据在利用的时候一般会遵循Lambda架构或者Kappa架构或IOTA架构等数据处理的架构思想为指导。 当然，不遵循这两种架构思想也是可以的，如果你有自己的想法去做设计也是没问题的。只是，一般Lambda架构和Kappa架构作为成熟的大数据分析架构，用在处理数据湖内的数据也是很适合的。
大数据平台架构及主流技术栈
互联网工匠
02-16 4071
互联网和移动互联网技术开启了大规模生产、分享和应用数据的大数据时代。面对如此庞大规模的数据，如何存储？如何计算？各大互联网巨头都进行了探索。Google的三篇论文 GFS(2003)，MapReduce(2004)，Bigtable(2006)为大数据技术奠定了理论基础。随后，基于这三篇论文的开源实现Hadoop被各个互联网公司广泛使用。在此过程中，无数互联网工程师基于自己的实践，不断完善和丰富H...
架构设计之大数据架构（Lambda架构、Kappa架构）
Elaine的博客
10-31 4762
Lambda、Kappa大数据架构介绍
讯飞大数据解决方案.pptx
10-14
Odeon是科大讯飞的大数据能力平台，它以语音为特色，通过集成人工智能技术，实现了数据的安全隔离和授权访问，确保了数据的安全性。该平台支持私有化部署，目前已有超过400台机器，每天新增数据达100TB，作业数量...
早期衰变时间与信噪比对语言清晰度影响实验 (2010年)
05-19
随着计算机科学的发展,声学的可听化技术被越来越广泛地应用到主观实验研究中。声学软件ODEON可以建立很好的仿真声场,利用ODEON的...在语言清晰度为主要设计指标的厅堂中,应该主要控制早期衰变时间,使其不能超过1 .5 s.
基于仿真脉冲响应的厅堂音质评价* (2005年)
05-22
为进行可听化技术及厅堂音质评价研究，对黄埔青少年宫剧院进行了脉冲响应及其声学参数测试，同时应用ODEON软件对该剧院进行声场仿真，并将计算机仿真和实测结果相比较，通过主观听音试验，探讨应用仿真脉冲响应进行...
基于仿真试验的耦合空间音乐厅客观音质参数的多元方差分析 (2006年)
05-15
采用多元方差分析法,应用 ODEON计算机仿真软件,针对一个理想的耦合空间音乐厅模型,对耦合空间音乐厅的客观音质参数进行较为系统的分析。分析过程包括以下四种典型的情况 :耦合空间的开闭状态;耦合空间布置在不同的...
应用早期衰变时间计算语言传输指数 (2005年)
05-17
利用Odeon仿真软件,对55个不同听音位置,采用3种方法计算语言传输指数(Speech Transmission Index,简称STI),并进行比较分析。结果表明,应用早期衰变时间(Early Decay Time,简称EDT)比应用混响时间(T3o)计算语言传输...
大数据平台核心架构图鉴，建议收藏！
Hanko的专栏
06-02 9429
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。数据源的种类比较多：网站日志：作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，一般是在每
一文看懂大数据生态圈完整知识体系【大数据技术及架构图解实战派】
大数据技术博客
08-03 6334
一文看懂大数据生态圈完整知识体系，包含Hadoop、Spark、Flink、Kafka、Elasticsearch、数据仓库等内容。
新一代大数据技术架构
tianqinglei的博客
07-21 1万+
在讲新一代大数据技术架构前，先讲下大数据特征与大数据技术要解决的问题。 1.大数据特征：“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”显著的4V特征，或者说，只有具备这些特点的数据，才是大数据。 2.大数据技术要解决的问题：大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分
这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪几种
寒江的专栏
10-24 8939
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提
深度解密 5 类大数据架构及实现
热门推荐
wujiandao的专栏
08-01 3万+
前几天读到白发川的一篇文章《对比解读五种主流大数据架构的数据分析能力》，文中详细总结了各类数据架构的应用以及原理。作为一名在数据仓库耕耘多年的技术人员，对于其中的一些技术细节还是破解兴趣的，所以随着作者的思路写下了我对主流数据架构的理解（如无特殊说明，以下涉及到这篇文章一律用《主流大数据架构》来代替）。 作者的原文地址如下： https://mp.weixin.qq.com/s?__biz=M...
五个顶级的大数据架构
weixin_30628801的博客
09-04 2580
　　五个顶级的大数据架构 　　自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬勃发展，涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库，而企业数据仓库则可能需要数天或数周才能完成。 ...
常用的几种大数据架构剖析
bater2356的博客
06-07 5989
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：可以看到在BI系统里...
电影院数据库的sql语句
05-26
('Cineplex Odeon Yonge & Dundas', 'Toronto, ON'); INSERT INTO showtimes (movie_id, theater_id, showtime) VALUES (1, 1, '2022-01-01 18:00:00'), (1, 1, '2022-01-01 21:00:00'), (1, 2, '2022-01-02 14:...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值