teradata ttu_teradata数据仓库介绍.ppt

teradata数据仓库介绍

10/21/2002 NCR Confidential Teradata数据仓库平台 Teradata(中国) 2010-05 Teradata RDBMS- 数据仓库的专用引擎 Data Distribution 为了优化数据库系统性能，数据分配应该是随机和均匀的分布，以便能以最简洁的路径访问到。 为了实现数据均匀分布，很多数据库厂商都采用数据分配机制，必须由数据库管理员建立相应的维护过程。 Data Distribution Teradata的唯一的数据分配机制：HASH算法。 当要插入一条记录时，根据主索引计算出相应的AMP，该条记录即通过此AMP存到其对应的磁盘上。由于主索引值的不同，一个表的各条记录将通过各AMP均匀地分布到各个磁盘上。 分配过程完全自动进行，不需要DBA干预，这一点和其它OLTP DBMS有很大的区别。 当重新配置AMP数时，只需要变动HASH MAP，相应的数据分自动重新分配到新的AMP中去。 Data Management 传统的数据分配方式，数据的增加、更新和删除都将影响数据分配策略，相应的，查询的性能会降低，而且要求数据的重组。在数据重组过程中，数据必须卸载再重新装载到新的分区中去，这需要花费大量的时间。 Data Management 一种最好的数据管理方法 Teradata自动的HASH数据分配机制，可以减少大量的数据维护任务，节省DBA大量的资源。 因此，用户可以很方便的访问到自己所需要的那部分数据。 Teradata并行的基础 Teradata并行处理架构 Optimizer Intelligence 真正意义上的并行 Teradata的优化提供了一种高性能的动态和复杂查询的性能。 完全意义上的并行 降低查询时间，提供查询效率 可以预测未来 查询的动态应用 自动按照最节省的方式执行查询 (采用如临时表、加入索引等技术) 无“HINTS” 要求 Degree of Parallelism 任务执行时，并行数越多，系统的性能越好。 许多产品都声称“parallel”，其实只有在执行过程中某一个或某些任务实现了并行。 Teradata的MPP体系结构从系统的设计阶段就保证了所有的任务都是并行执行。 Teradata 数据仓库的特点 Teradata MPP 架构 BYNET 连接 完全线性增长的带宽 节点 可增加到4096 个节点 Linux/Windows/Unix 存储 独立的 I/O 通道 每节点单独管理 节点间连通性 充分可扩展 通道 – ESCON/FICON 连接方式:以太网、光纤等 管理服务器 监控整个系统的控制台 通过AWS统一管理 Teradata MPP 扩展性-性能线性增长 高可用性-无单点故障 易管理–单一操作视图 技术性–高性能 投资保护 混合负载管理 可扩展性 – 性线扩展 随着业务应用的发展及数据的积累,对系统的容量及处理能力必将提出更高的要求 下图所示的线性扩展能力能很好地满足这种要求 线性增长的最佳状态就是斜率=1 预期的容量和吞吐量的增长需要满足商业的需要 架构决定扩展能力(一) 架构决定扩展能力(二) Shared Nothing Software Basis of Teradata scalability Divide the work evenly among many processing units No single point of control for any operation I/O, Buffers, Locking, Logging, Dictionary Nothing centralized Nothing in the way of linear scalability Shared Nothing Software 提供线性的扩展能力，最大化SMP的资源利用率 Teradata MPP 扩展性-性能线性增长 高可用性-无单点故障 易管理–单一操作视图 技术性–高性能 投资保护 混合负载管理 Teradata 的可用性 Teradata 的可用性 高容错性 – 系统层面 冗余的 BYNET 某个BYNET有问题不会影响系统 自动故障恢复 心跳监测 负载平衡 完整的服务器管理 电源失效保护 双路外电输入 内置外备电池 当电源失效后自动完成关机过程 磁盘损坏保护 多磁盘控制器 冗余的连接(I/O)通道 RAID 面向高容错性的节点群 内置硬盘镜像 光纤通道卡、网卡的冗余 .... “Clique”容错架构 Clique： 多个节点与磁盘阵列在通过光纤线缆连接在一起，形成Clique。 在一个Clique中的所有节点共享所有的磁盘阵列。 一个Clique可以包括2-4台节点。 Cliques提供节点故障保