面试题——数仓项目技术如何选型？

最新推荐文章于 2024-07-21 13:36:52 发布
最新推荐文章于 2024-07-21 13:36:52 发布
阅读量442 收藏 1
点赞数
分类专栏： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36825778/article/details/106791122
版权

在这里插入图片描述

技术选型：

要提供两套方案，红色的一套，黑色的一套，提供对比

选择的依据：

优先选择红色的那一套，因为比较通用，而且熟悉

Flume解决日志的采集，Kafka解决消息的分发和消峰，Sqoop用于HDFS和关系型数据库进行数据的传递

MySql主要用于查询，它用于存储与前端进程交互比较频繁的数据，因为查询要速度比较块，HDFS主要用于存储，用于存储计算和分析的数据量大的数据

Hive是底层是基于MR，速度慢，Tez基于内存，数据在计算过程中不落盘，都存储在内存中，速度快，Spark同理

Presto和Impala是同类型同级别的框架，Druid在处理实时即席查询比Kylin强一些

G5Lorenzo
关注
专栏目录
大数据面试需要考察什么？
qq_39712666的博客
09-22 918
大家好，我是老蒙，有多年大数据从业经验，资深面试官，曾就职国内某 Top3 游戏厂商，目前是某公司 30+ 人大数据团队负责人，专注于大数据分布式技术的研究与实践。 目前为止大部分的大数据开发程序员都是“野生”的，虽然很多高校已经开设了大数据相关的课程，但是这些科班的同学大部分都还在大学校园没出来，所以很多人对于大数据面试需要掌握的知识点的了解是不全面且不系统的，基本都来自于网上候选人们分享的一篇...
数仓面试题-推荐-面试必看
04-09
数仓面试题，没有答案，但是题目都算比较典。
实时数仓方案五花八门，实际落地如何选型和构建
数据一哥，公众号：数据社
06-13 6837
【作者介绍】王磊，阿里云 MVP，华院计算技术总监。著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：Java 面试核心知识点精讲（架构篇）》。编辑 | 韩楠约4,989 字 | 10 分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必...
【面试宝典】24道数据仓库高频题整理(附答案背诵版)
最新发布
tyler的博客
07-21 3778
不同的数据仓库建模方式适用于不同的场景和需求。星型和雪花模式因其简单性和效率而广泛应用于许多数据仓库项目中。星座模式适合复杂的分析需求，而第三范式模式则更注重数据的规范化和一致性。在选择合适的建模方式时，需要考虑数据仓库的规模、复杂度，以及业务用户的查询需求和数据分析的目标。
数据仓库方案选型
热门推荐
直到世界的尽头
11-07 2万+
总体框架通常采用三层体系结构：前端工具（顶层）-OLAP服务器（中间层）-数据仓库服务器（底层）。底层的数据仓库服务器通常是一个关系数据库系统(各种表关联的sql统计会更方便一些，非关系型数据库目前在这方面还是有所区别)。 中间层OLAP服务器，典型实现为ROLAP模型或MOLAP模型。 顶层为前端客户端，用于数据分析和挖掘等（如趋势分析、预测）。 当然现在很多成熟的BI工具都是集成了OLAP
实时数仓方案如何选型和构建（建议收藏）
小赵的博客
04-04 885
本文介绍了市面上常见实时数仓方案，并对不同方案的优缺点进行了介绍。在使用过程中我们需要根据自己的业务场景选择合适的架构。另外想说明的是实时数仓方案并不是“搬过来”，而是根据业务“演化来”的，具体设计的时候需要根据自身业务情况，找到最适合自己当下的实时数仓架构。延申思考我们在实时数仓的构建过程中比较大的争议是采用标准分层体系+流计算+数据湖的方案，还是试用基于全场景MPP数据库实现。
数仓技术选型
qq_45972323的博客
05-04 417
数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，学习成本，总成本预算。集群监控：Zabbix，Prometheus。权限管理：Ranger，Sentry。元数据管理：Atlas。
华为面试题及答案——大数据
麦当当的博客
06-22 1608
在 hadoop-env.sh 文件中，可以增加 JVM 分配给 NameNode 的内存。通常是在 HADOOP_NAMENODE_OPTS 中增加 -Xmx 参数来增加最大堆内存。export HADOOP_NAMENODE_OPTS="-Xmx8g -Xms4g ${HADOOP_NAMENODE_OPTS}"将上面的 8g 和 4g 替换为适合你系统的值。启用高可用配置，可以将元数据分布到多个 NameNode 上，从而减少单个 NameNode 的内存压力。以下参数可以优化 NameNode 的内
2024大数据面试题汇总(完善中。。。)
为人性僻 语不惊人
06-18 1236
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
大数据技术之高频面试题
XIAOMO__的博客
11-12 9019
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
【推荐】最强大数据学习与最佳实践资料合集（基础+架构+数仓+治理+案例）（100份）.zip
10-18
Hadoop精选面试题和MapReduce编程企业级编程实践 HDFS-part2-原理详解 HDFS核心内容及命令-2020 hive安装 hive语法和常用函数 Kafka安装 kylin安装 mapreduce调优指南 sqoop安装 二、架构篇 Flink-1.11 Hive集成与...
数据仓库概念以及选型
qq_36570086的博客
06-28 1319
数据仓库概念
最新数仓面试题_知行教育数仓项目_数据集市面试题
2301_76348014的博客
05-01 701
事实：就是事件的意思。表示的是系统中一个真实产生的事件信息。维度表：记录的是一个事件或者实体的各个维度上的信息区别：在数据量上，事实表是巨大的，维度表是相对事实表较少。联系：基于事实表和维度表的关联，我们可以从多个维度上去分析事实表中的数据宽表就是事实表和维度表的集合指标大白话：被看待的数据主题维度：大白话：以不同的视角去看待数据指标一般是数值类型。Y轴展示的就是指标。指标分为绝对数值和相对数值。​ 维度一般是字符类型，指的是特性。X轴展示的就是维度信息。
数仓面试题
oracle8090的博客
07-31 855
hive优化 https://blog.csdn.net/oracle8090/article/details/80008924 https://blog.csdn.net/B11050101/article/details/78754652 1.hive表关联查询,造成数据倾斜的常见原因,如何解决数据倾斜 2请说明hive中 sort by,order by,cluster by,dis...
如何设计技术面试题目？
code小生
07-05 306
code小生,一个专注 Android 领域的技术平台公众号回复 Android 加入我的安卓技术群作者：Simple_world链接：https://www.jians...
数仓领域相关技术选型总结
luckcxy的专栏
03-04 531
数仓相关领域选型总结
大数据数仓项目技术选型
weixin_45748431的博客
07-27 638
技术选型主要考虑因素 数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算。 数据采集传输： Flume：负责处理文件，读取文件 Kafka:负责缓冲 sqoop:从mysql直接导入数据 数据存储： MySql:负责存储可视化的展示数据 HDFS:主要存储的是大数据中的数据，例hive HBase:存储元数据 Redis:缓存 数据计算： Hive：基于MapReduce计算，速度相对较慢 Tez:完全基于内存，相对hive快了很多 Spark：速度是hive的100倍。可以进
[选型] 实时数仓之技术选型
fct2001140269的博客
12-07 2922
关于实时数仓的选型 ● 如果选择hbase，建议选择kudu ● 如果选择kudu, 还可以选择doris ● 如果选择doris，建议选择iceberg
大数据面试题——spark面试题（一）
06-28
好的，下面是对大数据面试题——spark面试题（一）的回答： 1. 什么是Spark？它与Hadoop有什么区别？ Spark是一个快速、通用、可扩展的大数据处理引擎，它可以在内存中进行数据处理，因此比Hadoop更快。与Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值