Oracle Exadata 技术详解 - 李亚

Ⅰ 基础篇

介绍Oracle Exadata 一体机的配置、架构、安装升级

1 Exadata 概述

Exa - 艾克萨 - 10^18

Smart Scan
Hybrid Columnar Compression
Smart Flash Cache

Openworld大会

SAGE(Storage Applicant Grid Environment)

Larry Ellison - Oracle
Mark Hurd - HP

74亿美金 - Sun

PCI-e闪存卡

onecommand

SATA -> SAS

Smart Flash Logging -> log file sync 👇

global cache fusion

Stroage Expansion Rack 扩展柜

Solaris

SAP HANA

WBFC(Write-Back Flash Cache)

DML - IOPS

1/8配 Vs 1/4配

BIOS和fireware 对CPU、内存、闪存、磁盘资源进行限制

2 Exadata 硬件配置

infiniband叶子交换机
KVM、cisco交换机
ibfiniband骨干交换机

Exadata datasheet

Full、Half、Quarter、Eighth
High Performance、High Capacity

双口控制器、光纤模块
ILOM网卡

re-mirroring

Cache Fusion

QDR infiniband HCA卡

管理网
生产网
内联网
ILOM

sfp+光纤模块 - 线缆

思科

KVM - Keyboard、Video、Mouse

PDU - power distributions units

3 Exadata的架构

LIBCELL
CELLSRV MS RS
IORM
iDB
RDS

Oracel Diagnostic Logging(ODL)
diskmon

IPoIB - Internet Protool over InfiniBand
RDS - Raliable Datagram Sockets
SDP - Sockets Direct Protocol
Transparent SDP
Native SDP

Buffer Copy(Bcopy)
Zero Copy(Zcopy)

iDB -> ZDP - Zero-loss Zero-copy Datagram Protocol

Physicaldisk -> LUN -> Celldisk -> Griddisk -> ASM disk

分区、条带化和镜像 - 裸盘

cellcli -e list pyhsicaldisk/LUN/celldisk/griddisk

IDP - Interlligent Data Placement

DCLI - Distributed command line interface

Puppet

CellCLI

4 Exadata 的安装

ACS - Advanced Costomer Service

CW - Configuration Worksheet

ASR

MOS

SMTP

SNMP

Spanning Tree

PDU - 配电单元

dbm configurator

Exaconf - Oracle Exadata Deployment Assistant - OEDA

OCM

重做镜像
USB
虚拟光驱
PXE

shell -> perl

Exascrub
sudo yum -y install scrub

raw disk

5 Exadata 补丁升级

nm2version
opensm
spsh
load

NFS

PSU - patchset update

Oplan

Ⅱ 功能篇

Oracle Exadata 一体机的特性、数据迁移、并行、安全加固、备份与恢复。

6 Exadata Smart Scan 与 Offloading

iDB
缓存读

Offloading

Direct Path Read

Offload
Smart File Creation
Smart File Restore
Smart Increment Backup
Smart Scan

Exadata上最重要的特性——Offloading 与 Smart Scan。
Offloading 将原本由数据库来完成的工作放到智能存储中完成，将一部分负载分担到智能存储中，是对Oracle RAC share-everything 架构的一种突破。
Smart Scan 通过将数据过滤放在存储端执行，旨在消除存储与数据库之间的交互瓶颈，解决了困扰传统数据仓库的难题-大量冗余数据在存储与数据库之间移动的问题。

7 Storge Index

reverse indexes

POC - Prof Of Concept

Storge Index 虽名为索引，但并非索引，本质只是一个过滤无效数据，减少不必要I/O的过滤器。

8 混合列式压缩

8i - 索引
9i - 表和分区级
10g - LOB类型
11gR2 - ACO(Advanced Compression Option)
Exadata - HCC(Hybrid Columnar Compression)

ZFS-SA
Pillar Axiom

CU - Compression Union

数据泵expdp压缩导入
RMAN压缩备份
DG日志压缩传输
SecureFiles

Warehouse Query
Archive
High
Low

CTSA/IAS - create table as select

HCC为数据仓库及OLAP等海量数据应用提供了更好的查询性能，同时通过特有的行列混合以及压缩技术节约存储空间。
通过与Exadata smart scan的结合，HCC还可以将数据解压的过程分散到存储节点，从而降低数据库节点CPU的消耗，进而发挥大规模分布式处理系统的威力。

9 Exadata 闪存技术

Flash Accelerator F20 PCIe card

FDOM
DOM - Disk on module
ESM - Energy Storage Module - 电池

EMC
HDS
Netapp

SAP HANA - 实时分析一体机 - In Memory Computing - ERP巨人SAP

闪存寿命
NAND技术
容量
应用本身的使用模型

Write-Through 与 Write_Back|Write-Back

Exachk

ESFC - Exadata Smart Flashcache
DSFC - Database Smart Flashcache
SFL - Smart Flash Logging

Exadata可以充分利用Exadata Smart Flash Cache 特性，大幅提升OLTP的处理响应时间。
不仅是对闪存容量进行扩充，更多的结合Oracle数据库的特征，在软件层面不断地改进与突破。

10 Exadata资源管理与并行技术

SMP

Linux cgoups

Database Resource Manager - DBRM

instace caging
Consolidation Platform

IORM - I/O resource manager
category resource plan

IORM用于管理存储端，按照数据库对进行I/O资源的分配与协调。

11 Exadata 监控与故障诊断

IPMI - Interlligent Platform Management Interface
BMC - Baseboard Management Controller

ipmi over lan
serial over lan

ipmitool
ipmiflash

Sun ILOM - Integrated Lights Out Manager

out-of-band management

OEM 12c

Cell metrics

SMTP & SNMP

Firmware监控
OCSSD日志

PDU/KVM/Cisco交换机的监控

Exachk
OSWatcher/ExaWatcher
Sundiag
sosreport
IPS&ADRCI
CellCLI
RDA
Systemstate dump
kexe/kdump
ilom snapshot

通过OEM agent 和 Exadata plugin 实现Exadata上软件和硬件的图形化，以及全方位的监控。
通过Exadata上的多主机管理工具dcli，使得用户可以同时对多主机进行管理和监控，大大节约了成本。
通过大量的Cell Metrics，对用户监控的指标进行高度个性化定制。
通过其自带的SNMP、SMTP和cell alert，我们可以对Exadata故障和告警完成主动预警，快速响应。

12 Exadate 安全加固

ASO - Advanced Security Option
AES
Oracle Database Vault
Oracle Audit Vault
Oracle Database Firewall

OpenBSD

VNC Server

SELinux & iptables
Enforcing
Permissive
Disabled

CVE - Common Vulnerabilities and Exposures - https://cve.mitre.org

13 Exadata 数据迁移与加载

数据泵
CTAS/IAS
(X)TTS
CPIB - Cross Platform Incremental Backup
DG
GG
RMAN

14 Exadata 备份、恢复和容灾

/opt/oracle.Support-Tools/dbserver_backup.sh

ZFS-SA(Storage Appliance)

Ⅲ 实战篇

Oracle Exadata 一体机管理员在维护和使用过程中常见的场景以及问题和解答。

15 Exadata 日常运维

DMA - Data Machine Administrator
Oracle 数据库管理
ASM 存储管理
Exadata 硬件以及存储
存储软件
网络

CRS

dualboot

16 Exadata 常见问题

网卡绑定方式