面试题——数仓项目技术如何选型？

最新推荐文章于 2024-07-21 13:36:52 发布
最新推荐文章于 2024-07-21 13:36:52 发布
阅读量439 收藏 1
点赞数
分类专栏： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36825778/article/details/106791122
版权

在这里插入图片描述

技术选型：

要提供两套方案，红色的一套，黑色的一套，提供对比

选择的依据：

优先选择红色的那一套，因为比较通用，而且熟悉

Flume解决日志的采集，Kafka解决消息的分发和消峰，Sqoop用于HDFS和关系型数据库进行数据的传递

MySql主要用于查询，它用于存储与前端进程交互比较频繁的数据，因为查询要速度比较块，HDFS主要用于存储，用于存储计算和分析的数据量大的数据

Hive是底层是基于MR，速度慢，Tez基于内存，数据在计算过程中不落盘，都存储在内存中，速度快，Spark同理

Presto和Impala是同类型同级别的框架，Druid在处理实时即席查询比Kylin强一些

G5Lorenzo
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据面试需要考察什么？
qq_39712666的博客
09-22 909
大家好，我是老蒙，有多年大数据从业经验，资深面试官，曾就职国内某 Top3 游戏厂商，目前是某公司 30+ 人大数据团队负责人，专注于大数据分布式技术的研究与实践。 目前为止大部分的大数据开发程序员都是“野生”的，虽然很多高校已经开设了大数据相关的课程，但是这些科班的同学大部分都还在大学校园没出来，所以很多人对于大数据面试需要掌握的知识点的了解是不全面且不系统的，基本都来自于网上候选人们分享的一篇...
数仓面试题-推荐-面试必看
04-09
数仓面试题，没有答案，但是题目都算比较典。
实时数仓方案五花八门，实际落地如何选型和构建
数据一哥，公众号：数据社
06-13 6829
【作者介绍】王磊，阿里云 MVP，华院计算技术总监。著有：《图解 Spark 大数据快速分析实战》；《offer 来了：Java 面试核心知识点精讲（原理篇）》；《offer 来了：Java 面试核心知识点精讲（架构篇）》。编辑 | 韩楠约4,989 字 | 10 分钟阅读01文章概览（一至五）✦一、为何需要实时数仓架构二、数仓如何分层&各层用途三、数仓分层的必...
【面试宝典】24道数据仓库高频题整理(附答案背诵版)
最新发布
tyler的博客
07-21 3100
不同的数据仓库建模方式适用于不同的场景和需求。星型和雪花模式因其简单性和效率而广泛应用于许多数据仓库项目中。星座模式适合复杂的分析需求，而第三范式模式则更注重数据的规范化和一致性。在选择合适的建模方式时，需要考虑数据仓库的规模、复杂度，以及业务用户的查询需求和数据分析的目标。
数据仓库方案选型
热门推荐
直到世界的尽头
11-07 2万+
总体框架通常采用三层体系结构：前端工具（顶层）-OLAP服务器（中间层）-数据仓库服务器（底层）。底层的数据仓库服务器通常是一个关系数据库系统(各种表关联的sql统计会更方便一些，非关系型数据库目前在这方面还是有所区别)。 中间层OLAP服务器，典型实现为ROLAP模型或MOLAP模型。 顶层为前端客户端，用于数据分析和挖掘等（如趋势分析、预测）。 当然现在很多成熟的BI工具都是集成了OLAP
实时数仓方案如何选型和构建（建议收藏）
小赵的博客
04-04 878
本文介绍了市面上常见实时数仓方案，并对不同方案的优缺点进行了介绍。在使用过程中我们需要根据自己的业务场景选择合适的架构。另外想说明的是实时数仓方案并不是“搬过来”，而是根据业务“演化来”的，具体设计的时候需要根据自身业务情况，找到最适合自己当下的实时数仓架构。延申思考我们在实时数仓的构建过程中比较大的争议是采用标准分层体系+流计算+数据湖的方案，还是试用基于全场景MPP数据库实现。
数仓技术选型
qq_45972323的博客
05-04 410
数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，学习成本，总成本预算。集群监控：Zabbix，Prometheus。权限管理：Ranger，Sentry。元数据管理：Atlas。
数仓面试题
诸葛搏毅
05-05 766
介绍下数据仓库 数仓的基本原理 数仓架构 数据仓库分层(层级划分)，每层做什么?分层的好处? 数据分层是根据什么? 数仓分层的原则与思路 数仓建模常用模型吗?区别、优缺点? 星型模型和雪花模型的区别?应用场景?优劣对比 数仓建模有哪些方式? 数仓建模的流程? 其实就是业务模型->概念模型->逻辑模型->物理模型的这样⼀个流程， 业务建模(需求沟通）主要解决业务层⾯的分解和程序化。搞清楚系统边界，确定好主题域 概念建模|领域建模(画图想好怎么做）主要是对业务模型进⾏抽象处理，⽣成领域概念模型
2020数仓面试题
马斯特杨的博客
04-27 6960
题目背景 现有一张用户观看记录表 ev_fs_view,基于该表需要进行相关统计分析。 数据如下 ymd user_id age view_time register_time 20200401 0001 25 15min 2020-04-01 13:01:23 20200401 0002 33 24min 2020-04-01 15:06:36 20200402 0001...
华为面试题及答案——大数据
麦当当的博客
06-22 1590
在 hadoop-env.sh 文件中，可以增加 JVM 分配给 NameNode 的内存。通常是在 HADOOP_NAMENODE_OPTS 中增加 -Xmx 参数来增加最大堆内存。export HADOOP_NAMENODE_OPTS="-Xmx8g -Xms4g ${HADOOP_NAMENODE_OPTS}"将上面的 8g 和 4g 替换为适合你系统的值。启用高可用配置，可以将元数据分布到多个 NameNode 上，从而减少单个 NameNode 的内存压力。以下参数可以优化 NameNode 的内
大数据技术之高频面试题
XIAOMO__的博客
11-12 9004
第一章 项目涉及技术 1.1Linux&Shell 1.1.1 Linux常用高级命令 序号 命令 命令解释 1 top 查看内存 2 df -h 查看磁盘存储情况 3 iotop 查看磁盘IO读写(yum install iotop安装） .
2024大数据面试题汇总(完善中。。。)
为人性僻 语不惊人
06-18 1128
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
【推荐】最强大数据学习与最佳实践资料合集（基础+架构+数仓+治理+案例）（100份）.zip
10-18
Hadoop精选面试题和MapReduce编程企业级编程实践 HDFS-part2-原理详解 HDFS核心内容及命令-2020 hive安装 hive语法和常用函数 Kafka安装 kylin安装 mapreduce调优指南 sqoop安装 二、架构篇 Flink-1.11 Hive集成与...
数据仓库概念以及选型
qq_36570086的博客
06-28 1316
数据仓库概念
如何设计技术面试题目？
code小生
07-05 302
code小生,一个专注 Android 领域的技术平台公众号回复 Android 加入我的安卓技术群作者：Simple_world链接：https://www.jians...
数仓领域相关技术选型总结
luckcxy的专栏
03-04 529
数仓相关领域选型总结
大数据数仓项目技术选型
weixin_45748431的博客
07-27 636
技术选型主要考虑因素 数据量大小，业务需求，行业内经验，技术成熟度，开发维护成本，总成本预算。 数据采集传输： Flume：负责处理文件，读取文件 Kafka:负责缓冲 sqoop:从mysql直接导入数据 数据存储： MySql:负责存储可视化的展示数据 HDFS:主要存储的是大数据中的数据，例hive HBase:存储元数据 Redis:缓存 数据计算： Hive：基于MapReduce计算，速度相对较慢 Tez:完全基于内存，相对hive快了很多 Spark：速度是hive的100倍。可以进
大数据面试题——spark面试题（一）
06-28
好的，下面是对大数据面试题——spark面试题（一）的回答： 1. 什么是Spark？它与Hadoop有什么区别？ Spark是一个快速、通用、可扩展的大数据处理引擎，它可以在内存中进行数据处理，因此比Hadoop更快。与Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值