24 exdata架构探讨--优化主题系列

最新推荐文章于 2022-04-26 17:22:12 发布
最新推荐文章于 2022-04-26 17:22:12 发布
阅读量431 收藏 1
点赞数
分类专栏： SQL Tuning 文章标签： oracle 优化 sql优化 tuning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leo0805/article/details/78287731
版权
本文探讨了Oracle数据库在处理海量数据时的局限性，包括单次I/O大小限制和并行度对资源的需求。文章指出，Oracle的sharedisk架构在面对大规模I/O时存在瓶颈，而一些如DB2的sharenothing架构则能通过多节点并发I/O来提高性能。此外，文章介绍了Oracle EXADATA如何通过smartscan、压缩和FlashCache等技术优化I/O，减少数据库扫描时间和提高处理速度。
摘要由CSDN通过智能技术生成

为什么Oracle做数据库海量数据Oracle为什么有缺陷？？

Oracle是不是sharedisk架构？？rac系统是不是sharedisk架构多个实例用的是共享存储

意思就是说存储的I/O吞吐量始终上不去

因为Oracle一个进程一次I/O只能读1MB的数据

为什么数据仓库要开并行？？

8个并行那么就是一次读8MB并行不是说你想开多少就多少

一个进程要耗费2GB的PGA内存你开8个并行就是16GB了

假如96GB内存一个进程最大耗费2GB的PGA

开并行是不是耗费CPU啊一般来说一个进程就耗费一个CPU或者说1个CPU2个进程

48个CPU的机器48*2=96个并行一个系统最大只能开大概20个并行

也就是说Oracle一次只能读20-30MB的数据是不是相对海量数据上TB

最低0.47元/天 解锁文章
leo0805leo0805
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
阿里云开源离线同步工具DataX3.0介绍
weixin_34393428的博客
08-24 3421
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星...
EXDATA-013-Project2
06-10
EXDATA - 013 - 探索性数据分析 - 课程项目 #2 介绍 细颗粒物 (PM2.5) 是一种环境空气污染物，有强有力的证据表明它对人体健康有害。 在美国，环境保护署 (EPA) 的任务是为细颗粒物制定国家环境空气质量标准，并跟踪...
DataX 简介及架构原理
XIATWO
02-03 8039
DataX 简介及架构原理 概述 DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具 异构数据源：不同存储结构的数据源 致力于实现包括关系型数据库 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异结构数据源之间稳定高效的数据同步功能 - Sqoop 是用于在与 RDBMS 之间数据迁移工具 - DataX 是阿里开
datax的架构原理
qq_31277531的博客
04-26 1669
datax的架构图 我们会预先确定好：channel的数量，factor 数量，切分主键，每个taskGroup的最大channel数量 engine是一个主线程，会根据reader设置切分的规则对读取任务进行切分成多个task，writertask的数量会和reader task数量保持一致，我们姑且理解这个为 task对。 然后他会根据我们确定好的channel数量去确定taskGroup的数量，例如 taskGroup的实际数量 = channel数/单个task的最大channel数。 ...
关于Exadata
(Andrew)的专栏
10-30 4614
Oracle在今年旧金山的OOW大会上发布了自己和HP合作的第一款硬件产品——Exadata。Exadata包含主机Database Machine和存储Exadata StorageServer两种产品，硬件产品由HP提供，Oracle提供软件支持。Oracle号称该款产品在数据仓库的环境下，相比传统的Oracle数据库有着数量级的性能提升。到底该产品有着怎样的改进和亮点才会让Ora
oracle一体机(exdata)创建ACFS文件系统
sqlora的专栏
03-11 770
ACFS是一个支持多个平台，可扩展的，基于ORACLE ASM的集群文件系统，可以用来存储数据库和各种应用的文件，包括数据库的trace文件，alert日志文件和配置文件等等，也可以用来存储视频，音频，文本，图片等文件。 一．查看集群中acfs相关服务是否正常 [grid@rac1 ~] crs_stat –t –v | grep –E ‘acfs|dg’ 二．创建acfs逻辑卷 [grid@rac1 ~] asmcmd ASMCMD [+] > volcreate -G dat..
exdata-project-2
05-26
＃探索性分析课程项目2 ＃＃介绍 细颗粒物（PM2.5）是一种环境空气污染物，有充分的证据表明它对人体健康有害。 在美国，环境保护局（EPA）的任务是为精细PM制定国家环境空气质量标准，并跟踪向大气中排放这种污染...
exdata-project-2:Coursera探索性数据分析项目2
05-28
在本项目"exdata-project-2:Coursera探索性数据分析项目2"中，我们将深入学习如何使用R语言进行高效且深入的数据分析。这个项目旨在帮助我们掌握在实际工作环境中运用R进行探索性数据分析（Exploratory Data ...
exdata-project-2:探索性数据分析 - 课程项目 2
06-28
探索性数据分析 - 课程项目 2 介绍 细颗粒物 (PM2.5) 是一种环境空气污染物，有强有力的证据表明它对人体健康有害。 在美国，环境保护署 (EPA) 的任务是为细颗粒物制定国家环境空气质量标准，并跟踪这种污染物排放到...
exdata-011-assign2:探索性数据分析的第二个任务
06-23
在本项目"exdata-011-assign2"中，我们主要关注的是使用R语言进行探索性数据分析的第二部分任务。R语言是统计学和数据科学领域广泛使用的编程环境，它提供了丰富的库和工具来处理、分析以及可视化数据。在这一任务中...
深入理解Oracle Exadata（Expert Oracle Exadata）
08-09
英文高清PDF版。 《深入理解Oracle Exadata》深入地诠释了Exadata 的各项特性，如智能扫描、混合列式存储、存储索引、智能闪存、IO 资源管理；系统地介绍了如何安装、配置和管理Exadata；完美地阐述了Exadata 的等待事件、性能监控和调优方法；详细地剖析了计算节点和存储节点的内部原理；全面地分享了作者们在实际项目中所获得的宝贵经验，如怎样进行大数据的高效移植、Exadata 上的一些常见误区、数据库资源管理，等等。本书是实践经验的总结和升华，可读性极强，不仅有对Exadata 深入的研究，还有对它们优雅的展现，它将带领读者进入Exadata 的殿堂。
new Thread OutOfMemoryError
j275183662的博客
07-27 933
最近遇到一个问题OutOfMemoryError,oom很常见一般情况下是内存溢出导致,是指申请的内存超出了android对单个进程的最大限制,但是现在的最大限制是多少呢? 正常情况下进程最大可分配内存是查看adb shell getprop | findstr dalvik.vm.heapgrowthlimit (windows命令)的值,实测华为M3平板为384M 如果在AndroidMa...
3.Exadata 软件体系结构
weixin_30781433的博客
04-09 123
整体架构和 smart scan Aasm Ehcc (混合例压缩 和 存储索引) SCAN Service 和 server pool DB SERVER -> DB instance ->resource manager 去管理数据库内部资源的一个共享分配 CELL 驱动 去和 storage server 去做交付 Infiniband 协议，通过Infiniband ...
数据交换平台-初步设计
十年呵护的专栏
11-11 2397
                            数据交换平台-初步设计V0.1-Bate 初步设计架构图 系统主要分为 数据交换服务（DataCenter）和前置交换系统。 数据交换服务：主要以API接口方式对外提供服务 前置交换系统：主要管理API接口以及系统设置，所有数据以Jsonp方式从DataCenter系统获取，可选用前后端分离方式增加开发效率。   承接上图：宏观...
图解 DataX 核心设计原理
后端进阶
09-07 3952
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 前段时间我在 K8s 相关文章中有提到过数据同步的项目，该项目就是基于 DataX 内核构建的，由于公司数据同步的需求，还需要在 DataX 原有的基础上支持增量同步功能，同时支持分布式调度，在「使用 K8s 进行作业调度实战分享」这篇文章中已经详细描述其中的实现。 基于我在项目中对 DataX 的
16 反连接(anti-join)--优化主题系列
热门推荐
leo0805的博客
10-11 1万+
反连接(anti-join) 反连接其实是特殊的半连接。只是把in/exists换成了not in/not exists 执行计划中，看到有 NESTED LOOPS ANTI/HASH JOIN ANTI 就表示有反连接
oracle exdata数据库 优化
最新发布
05-14
但是在实际应用中，Exadata数据库也仍然需要进行一些优化工作，以达到更好的性能。 一、优化存储 Exadata对数据存储的优化主要是通过Exadata存储服务器来实现，这里有几个重要的优化点： 1. 存储单元配置： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值