数据仓库一书的感悟与批判-大型数据仓库

最新推荐文章于 2020-05-11 15:17:09 发布

首席IT民工

最新推荐文章于 2020-05-11 15:17:09 发布

阅读量143

点赞数

分类专栏： DataBase 文章标签： DataWarehouse 大型数据仓库费用多级存储性能优化

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/kamputer/article/details/106050796

版权

DataBase 专栏收录该内容

42 篇文章 1 订阅

订阅专栏

文章目录

大型数仓的问题
- 存储费用
- 利用率
多级存储
性能优化

大型数仓的问题

存储费用

随着数据量的增大,存储费用越来越高,并且要注意到存储费用并不只是存储硬件的费用,还包括相应的处理硬件和软件的费用

利用率

数据越多的时候数据利用率越低

多级存储

人工
有人来对多种存储介质中数据进行同步
HSM
系统全量同步
CMSM
行级同步,就是根据当前请求自动去加载数据.就有点像操作系统的分页算法,站在调用方看似乎所有的数据都ready了等待读取,其他是真正读取的时候才从下一级的存储读到上一次存储.

性能优化

根据实际情况来平衡多方面指标
在这里插入图片描述

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

首席IT民工 CSDN认证博客专家 CSDN认证企业博客

码龄11年

294: 原创

2万+: 周排名

5801: 总排名

37万+: 访问

: 等级

5964: 积分

56: 粉丝

52: 获赞

68: 评论

295: 收藏

私信

关注

热门文章

分类专栏

Java 64篇
util 3篇
未完成 1篇
业务学习 3篇
底层知识 8篇
python 12篇
English 1篇
容器及编排 59篇
postgresql 23篇
DataBase 42篇
中间件 34篇
SoftwareDesign 49篇
linux 33篇
test 2篇
go 1篇
Html+CSS+JS 3篇
工具软件 8篇
windows 1篇
C & C++ 6篇
PHP 6篇
ProjectManagement 14篇
springcloud 6篇
algorithm 1篇
network 3篇

最新评论

基于docker-compose的hadoop集群搭建
Seventeen's love: 你好前请问我有这个错ver | [74/100] try in 5s once again ... nodemanager | [96/100] check for namenode:9000... resourcemanager | [84/100] namenode:9000 is not available yet historyserver | [75/100] check for namenode:9000... nodemanager | [96/100] namenode:9000 is not available yet resourcemanager | [84/100] try in 5s once again ... historyserver | [75/100] namenode:9000 is not available yet nodem historyserver | [75/100] check for namenode:9000... nodemanager | [96/100] namenode:9000 is not available yet resourcemanager | [84/100] try in 5s once again ... historyserver | [75/100] namenode:9000 is not available yet nodemanager | [96/100] try in 5s once again ... resourcemanager | [85/100] check for namenode:9000... historyserver | [75/100] try in 5s once again ... nodemanager | [97/100] check for namenode:9000... resourcemanager | [85/100] namenode:9000 is not available yet historyserver | [76/100] check for namenode:9000... [code=plain] [/code]
Helm~Charts【未完成】
小样x: 哪有api。。。。
shardingsphere与liquibase兼容问题
啊是大飒飒: liquibase4.5.0和sharding-jdbc 5.1.1我按你的方法还是不行 2023-11-01 10:15:04 [main] ERROR o.s.boot.SpringApplication - Application run failed org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'liquibase' defined in class path resource [org/springframework/boot/autoconfigure/liquibase/LiquibaseAutoConfiguration$LiquibaseConfiguration.class]: Invocation of init method failed; nested exception is liquibase.exception.LockException: org.apache.shardingsphere.infra.exception.SchemaNotExistedException: Schema 'batterytest' doesn't exist. at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.initializeBean(AbstractAutowireCapableBeanFactory.java:1804) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.doCreateBean(AbstractAutowireCapableBeanFactory.java:620) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.createBean(AbstractAutowireCapableBeanFactory.java:542) at org.springframew
shardingsphere与liquibase兼容问题
牧云吹雪111: 我还是想用sharding-jdbc-spring-boot-starter有什么办法吗哥
[官方文档翻译:Linux]resolv.conf配置含义
cqutlqxjy: 翻译呢

大家在看

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。