亿级流量架构|day08-数据库高可用进阶及Redis初识

1 数据库高可用实现（二）

1.1 当前数据库服务存在问题

1.1.1 现在的架构设计

问题1：如果数据库主库宕机，则影响整个数据库服务。
问题2：如果后台的Amoeba宕机，也会影响整个服务。

1.1.2 主库宕机影响

1. 因为配置数据库主从服务器，从库可以实时备份主库的数据，但当主库宕机以后，通过某些技术手段可以实现数据库的故障迁移，但是这时从库需要同时读写数据。一段时间以后，从库的数据会比主库的数据要多。
2. 如果这时主库服务器修复，amoeba根据原有的配置继续实现读写分离，但是从库中的数据比主库中的数据多，这时IO线程会断掉，导致无法实现主从同步。
3. 该问题导致主库中没有之前用户写入的数据，同时从库中没有用户新增的数据，导致数据不一致。

1.1.3 改进策略

1. 主从切换
   如果主库（A库）宕机，那么原来的从库（B库）升级为主库，承担主写和部分读的职责。同时将A库降级为从库并且挂载到A库上。-------该方法已经实现需要依赖第三方插件，同时该方案不适用于多个主从服务配置。

2. 双机热备形式（双主模式）
   

采用双机热备的形式是实现数据库高可用的最为简单的方案。2台数据库互为主从结构，即使其中一台宕机，也不会影响整个数据库服务。

1.1.4 配置互为主从

A库: 192.168.126.162:3306
B库: 192.168.126.162:3306

昨天已经实现B库挂载在A库上
现在只需再将A库挂载在B库上

/*查询从状态*/
SHOW MASTER STATUS;


/*实现主从挂载*/
CHANGE MASTER TO MASTER_HOST="192.168.126.163",
MASTER_PORT=3306,
MASTER_USER="root",
MASTER_PASSWORD="root",
MASTER_LOG_FILE="mysql-bin.000001",
MASTER_LOG_POS=387

/*启动主从服务*/
START SLAVE

/*检查主从状态*/
SHOW SLAVE STATUS;

1.1.5 主从测试

分别修改主库和从库数据，检查数据是否自动同步。

1.2 MyCat

1.2.1 介绍

1.2.2 MyCat安装

前提要求：MyCat的安装需要依赖JDK1.8，上传文件后解压

命令：
./mycat start 启动
./mycat stop 停止
./mycat status 状态信息

1.2.3 编辑Server.xml

1.2.4 编辑Schemas配置文件

<!--定义节点名称/节点主机/数据名称-->
	<dataNode name="jtdb" dataHost="localhost1" database="jtdb" />
		<!--参数介绍-->
		<!--balance 0表示所有的读操作都会发往writeHost主机 -->  
		<!--1表示所有的读操作发往readHost和闲置的主节点中-->
		<!--writeType=0 所有的写操作都发往第一个writeHost主机-->	
		<!--writeType=1 所有的写操作随机发往writeHost中-->
		<!--dbType 表示数据库类型 mysql/oracle-->
		<!--dbDriver="native"  固定参数 不变-->
		<!--switchType=-1 表示不自动切换, 主机宕机后不会自动切换从节点-->
		<!--switchType=1  表示会自动切换(默认值)如果第一个主节点宕机后,Mycat会进行3次心跳检测,如果3次都没有响应,则会自动切换到第二个主节点-->
		<!--并且会更新/conf/dnindex.properties文件的主节点信息 localhost1=0 表示第一个节点.该文件不要随意修改否则会出现大问题-->
	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<heartbeat>select 1</heartbeat>

		<!--配置第一台主机主要进行写库操作,在默认的条件下Mycat主要操作第一台主机在第一台主机中已经实现了读写分离.因为默认写操作会发往137的数据库.读的操作默认发往141.如果从节点比较忙,则主节点分担部分压力.
		-->
		<writeHost host="hostM1" url="192.168.126.162:3306" user="root" password="root">
			<!--读数据库-->
			<readHost host="hostS1" url="192.168.126.163:3306" user="root" password="root" />
		</writeHost>

			<!--定义第二台主机 由于数据库内部已经实现了双机热备.-->
			<!--Mycat实现高可用.当第一个主机137宕机后.mycat会自动发出心跳检测.检测3次.-->
			<!--如果主机137没有给Mycat响应则判断主机死亡.则回启东第二台主机继续为用户提供服务.-->
			<!--如果137主机恢复之后则处于等待状态.如果141宕机则137再次持续为用户提供服务.-->
			<!--前提:实现双机热备.-->
		
		<writeHost host="hostM2" url="192.168.126.163:3306" user="root" password="root">
			<readHost host="hostS1" url="192.168.126.162:3306" user="root" password="root" />
		</writeHost>
	</dataHost>

1.2.5 上传文件

将前期准备中的文件上传。

然后执行命令

1.2.6 Mycat高可用测试

将主库关闭后，测试高可用是否能够实现，测试数据是否同步。

1.3 分库分表

1.3.1 为什么要分库分表

当数据库中存储的数据很多，使用优化策略也无法达到用户要求时才会进行分库分表。

1.3.2 数据库的垂直拆分

根据业务逻辑进行拆分，将一个数据库中的表，拆分到多个数据库中。

1.3.3 数据库的水平拆分

由于单表数据量很大，将单表中的数据，水平拆分到多张表中，分配到多个数据库中。

1.3.4 数据库如何优化

1.优化sql语句
原则：
-尽量使用逐渐查询。
-尽量使用单表查询，不要关联查询。
-查询时可以用in，但绝对不要用not in。

2.创建索引

CREATE INDEX 索引名称ON 表名称 (列名称)

3.添加缓存
例如：mybatis 一/二级缓存 该操作效率低
主要：redis/memercache(String)
作用：可以有效地缓解数据库压力

4.使用数据库的读写分离

5.定期将历史数据进行转储
当前表/查询历史表

6.进行分库分表（最后策略）
数据库服务器数量和运维都要花费很多的时间和精力。

2 Redis学习

2.1 缓存介绍

2.1.1 缓存设计架构

2.1.2 缓存机制

-缓存的目的就是减少访问物理设备的访问频次。
-缓存中的数据就是数据库中的数据。
-缓存中的数据保存在内存中，目的是能够快速实现数据响应。

2.1.3 引入缓存后的问题

1.缓存中使用什么数据结构存储？
采用k-v格式存储，同时key禁止重复。
定义key策略：字符串_ID

2.如果缓存服务器宕机，则内存中的数据都将丢失。
将内存中的数据定期持久化。

3.缓存中的数据如何保证与数据库数据的一致性？（数据一致性）
如果数据库数据发生变化，就应该同步缓存中的数据。

4.缓存中的数据如何控制大小？（1G）
策略：将最近最少使用的数据清空。
LRU算法：内存管理的一种页面置换算法，对于在内存中但又不用的数据块（内存块）叫做LRU，操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据.

5.如何保证缓存的查询更快？
C语言

2.1.4 Redis介绍

Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。

它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。

Redis 内置了 复制（replication），LUA脚本（Lua scripting）， LRU驱动事件（LRU eviction），事务（transactions） 和不同级别的 磁盘持久化（persistence）， 并通过 Redis哨兵（Sentinel）和自动 分区（Cluster）提供高可用性（high availability）。

2.2 Redis安装

2.2.1 Redis下载

2.2.2 Redis安装

1.编译(gcc编译C语言环境)

redis   make

2.安装Redis

make install

2.2.3 Redis启动

1.redis-server
2.redis-server &表示还有后续操作（回车后生效）
-以上两种启动方式，都有默认的配置，远程服务器不能连默认的redis。
3.redis-server redis.conf
根据配置文件启动redis

关闭：
-kill -9 6139
-redis-cli -p 6379 shutdown
-redis-cli shutdown 关闭端口为6379的redis

2.2.4 修改redis配置文件

vim redis.conf

1.取消ip绑定

2.关闭保护模式

3.开启后台启动

2.3 Redis命令

前提:需要通过redis客户端操作命令
命令: redis-cli -p 6379

2.3.1 String类型

2.3.2 List列表类型

List列表类型(list)是一个存储有序的元素的集合类型。
List数据类型底层是一个双端列表，可以从左右分别进行写入操作，双端列表的数据特点:查询两端数据时速度较快,查询中间数据较慢.