数仓领域相关技术选型总结

最新推荐文章于 2024-05-29 18:48:41 发布
最新推荐文章于 2024-05-29 18:48:41 发布
阅读量502 收藏 5
点赞数 11
分类专栏： 数字化转型 文章标签： 大数据 数据仓库 数字化转型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luckcxy/article/details/136457350
版权
分类选型
数据采集传输FlinkCDC，Kafka ，DRS，Flume，DataX，Maxwell，Sqoop ，
数据存储MySOL，HDFS，HBase，Redis，MongoDB
数据计算Hive，Spark ，Flink，Storm ，Tez
数据查询Presto，Kylin ，Impala
数据可视化DLV，Superset，Echarts，Sugar，QuickBI，DataV，FineBI，PowerBI
任务调度DataArts Studio、DolphinScheduler，Azkaban，Oozie，Airflow
监控Zabbix，Prometheus
数仓综合选型DWS，Doris，PostgreSQL，TiDB，Druid，ClickHouse，Greenplum
第十个灵魂
关注
  • 11
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【附下载】实时数仓架构设计与选型
weixin_52346300的博客
11-12 311
这是彭文华的第99篇原创好几位朋友在后台留言，说要看看各大厂都是咋玩实时数仓的。其实，实时数仓和离线数仓在模型设计的时候是一样一样的，只是需要计算引擎和存储不太一样而已。然后再解决实时计算...
大数据实战【千亿级数仓】项目总结
热门推荐
大数据梦想家
05-21 1万+
        前段时间做过一个大数据离线数仓的项目，前后花了有好几周的时间。一共是6个阶段，想关注阶段细节的朋友可以查看????大数据实战项目这个专栏。         现在项目结束了，理应对此进行一个总结，好好回顾一下这个项目中遗漏的细节… 文章目录项目架构技术选型数据来源数据存储数据同步计算模型结果存储加速查询结语 项目架构 ① 原始数据
实时数仓 | 你想要的数仓分层设计与技术选型
Focus on Lakehouse
04-15 4789
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以...
实时数仓建设详解
ytp552200ytp的博客
04-12 6321
实时数仓建设详解
【数仓建设系列之五】数仓选型架构概览
weixin_43914798的博客
09-11 1256
离线数仓（Offline Data Warehouse）和实时数仓（Real-time Data Warehouse）是数仓领域两种常见的数据存储和处理架构，它们在数据处理的方式、目标和时间性上有所不同，本文将重点介绍目前主流实时数仓架构设计。
从数仓到数据中台，且看马蜂窝数仓研发总监谈技术选型最优解
云祁QI
06-20 1808
本文根据马蜂窝数仓研发总监颜博老师在线上分享演讲内容整理而成，围绕数据仓库架构和研发方方面面，学习！
2023-详解实时数仓建设
ytp552200ytp的博客
04-17 1409
详解实时数仓建设
大数据技术与实践实验报告总结_大数据平台搭建实验心得体会
weixin_39687542的博客
12-22 9478
计算机实验报告 要有心得体会的计算机实验心得体会通过一个学期对《计算机网络实用技术》这门课程的学习，对于我来说它已不陌生。首先对于课程安排，感觉很紧凑，几乎不遗漏任何的知识点。理论总在实验和机试前，这样有利于我们学生接受新知识的灌输，而且把理论运用自如。每理论课后，老师总不忘留出十几分钟的时间给我们思考的空间。其次是对于教学，感觉老师讲课的思路很清晰，运用课件的形式讲课，很有概括性，重点“一针见血...
漫谈数仓OLAP技术哪家强？
fuyipingwml1976124的博客
12-23 519
【提醒：公众号推送规则变了，如果您想及时收到推送，麻烦右下角点个在看，或者把本号置顶】正文开始数据应用，是真正体现数仓价值的部分，包括且又不局限于 数据可视化、BI、OLAP、即席查询，...
实时数仓|你想要的数仓分层设计与技术选型
02-24
数据仓库概念的提出都要追溯到上世纪了，我们认为在大数据元年之前的数仓可以称为传统数仓，而后随着海量数据不断增长，以及Hadoop生态不断发展，主要基于Hive/HDFS的离线数仓架构可以兴起并延续至今，近几年随着...
大数据数仓全知识领域总结
04-01
企业型数仓全知识体系介绍，包括大数据平台架构、数仓架构、数仓建模、常见模型、事实表、设计规范、表命名规范、开发规范、流程规范、元数据管理、维度表、三范式与反范式、数仓分层、数据治理、ETL、数据倾斜等
菜鸟实时数仓技术架构演进
02-24
导读：在开源盛世的今天，实时数仓的建设已经有了较为成熟的方案，技术选型上也都各有优劣。菜鸟作为物流供应链的主力军，时效要求已经成为了核心竞争力，离线数仓已不能满足发展的需要，在日益增长的订单和时效挑战...
HADOOP permission denied解决方法（如果你ssh已经确认没问题了）
KUKUKAKASSAN的博客
05-26 348
有另一种可能的报错，就是你的文件全都被锁住了。可以上slave机上看看，不光要看hadoop的目录，还要多点几层文件下去，看看是不是有小锁。并且我的ssh已经能让master登入slave了，这个本来就是没有问题的。网上各种方法都是让你去把ssh配置好，让权限chmod 755，但我怎么试都没有用。不需要重启，回master上。
python:大文件分批/块导入数据库方式记录
积跬步，慕至千里的博客
05-23 478
对于数据文件比较大的数据，一次性串联sql进行入库，往往会受到数据库本身对sql长度的限制，从而需要分块或者分批次，将大数据文件一点一点的进行入库。特针对这种入库方式，进行一个简单记录，各类数据库入库后续均可参考下述实现分块的方式，进行分批入库数据。问题点其实主要是如何对数据进行分块。，从而实现分批入库。
基于机器学习预测未来的二氧化碳排放量（随机森林和XGBoost）
lhyandlwl的博客
05-24 1431
本文将使用Python对OWID提供的CO2排放数据集进行分析，并尝试构建机器学习模型来预测未来的CO2排放趋势。我们将探索数据集中的CO2排放情况，分析各国/地区的排放趋势，并利用机器学习算法来预测未来的CO2排放量。
ELT 同步 MySQL 到 Doris
最新发布
eagle89的专栏
05-29 511
同步 MySQL 到 Doris
【大数据面试题】33 手写一个 Flink SQL 样例
Jweilai
05-29 132
一步一个脚印，一天一道大数据面试题祝你身体健康，事事顺心！我们来看看Flink SQL。
HoneyTrap蜜罐系统实践操作@FreeBSD
skywalk8163的专栏
05-26 432
原来蜜罐系统不是这么遥不可及，它就是一个假的服务罢了。HoneyTrap蜜罐系统体积小巧，在FreeBSD下可以直接pkg 安装，安装快，启动快，配置也不是太复杂，是一个非常好的蜜罐系统。
mysql数仓技术选型
12-02
以下是MySQL数仓技术选型的一些建议： 1. 数据库版本选择：选择稳定版本的MySQL数据库，例如MySQL 5.7或MySQL 8.0。 2. 存储引擎选择：选择支持事务和锁定的存储引擎，例如InnoDB。 3. 数据分区：对于大型数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值