mysql处理海量数据架构优化_海量数据处理和优化

课程大纲:

海量数据处理和优化(课程大纲)

时间授课内容

第一部分 数据架构一、数据拆分

1.数据现状

2.连接数问题

3.数据垂直拆分

4.垂直拆分的问题和解决方案

5.异构的读写分离

6.数据水平拆分

7.水平拆分的问题和解决方案

8.一些案例分析

9.拆分难题

二、多种存储方案

1.引入NOSQL数据库

2.图片服务器分离

3.开源的分布式文件系统介绍和使用

4.图片处理和缓存

5.HDFS介绍

6.CDN介绍和详解

第二部分 数据同步方案一、并发的日志解析方案

1.情景分析

2.整体结构设计

3.线程池处理

4.代码实现

二、实时数据传输平台

1.主要逻辑(发布数据，订阅数据)

2.实时数据传输平台架构

3.实时数据传输平台结构分析

4.代码分享

三、Dbsync同步工具的使用

1、Dbsync介绍

2、架构解析

3、使用详解

四、异构的数据库/文件系统之间的高速交换工具

1、开源工具介绍

2、特点和结构模式

3、使用和插件开发

第三部分 分布式缓存系统一、Memcached

1.Memcached简介

2.Memcached简单用途

3.Memcached特点

4.Memcached优点和限制

5.Memcached Java客户端

6.Memcached Java 客户端优化

第四部分 Mysql性能优化、Oracle性能优化一、Mysql性能优化

1.Mysql性能优化引言

2.数据库设计和查询优化

3.Schema Design

4.标准化

5.数据类型

6.正确使用索引

7.查询缓存

8.服务器端优化

9.存储引擎优化

10.临时表

11.线程池

12.引入非关系数据库

13.新技术

二、Oracle性能优化

1、常用SQL技巧

2、表的连接方式

3、有效的使用索引

4、Oracle的优化器与执行器

5、Oracle 11g中的执行计划管理

6、Oracle 11g中的数据库重演和SQL重演

7、Oracle的性能顾问

第五部分 数据层开发一、数据服务平台设计

1.数据架构分析

2.问题

3.解决方案

4.数据服务平台特性

二、数据服务平台实现

1.模型数据映射实现

2.统一查询更新API

3.性能优化策略

4.热点缓存平台

5.异步并行化机制

6.并发控制，自我保护