关系型数据库-MySQL进阶(三)数据分片

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_44985068/article/details/97099691

数据分片
相关概念

分库分表
分片:存在一台数据库的服务器中的数据.特定方式拆分.分散存放在多台数据库服务中,达到单台服务器负载的效果.

垂直分割
纵向切分:按业务类型

什么是垂直分割?
• 纵向切分
– 把单一的表,拆分成多个表,并分散到不同的数据库 ( 主机 ) 上。
– 一个数据库由多个表构成,每个表对应不同的业务, 可以按照业务对表进行分类,将其分
布到不同的数据 库 ( 主机 ) 上,实现专库专用,让不同的库 ( 主机 ) 分 担不同的业务。

服务器
Taobaodb  a 服务器
注册表 b服务器
店铺表 c服务器
商品表 d服务器
销售表 e
库存表 f

水平分割
什么是水平分割?
• 横向切分
– 按照表中某个字段的某种规则,把向表中写入的记录 分散到多个库 ( 主机 ) 中。 –
简单来说,就是按照数据行切分,将表中的某些行存储到指定的数据库 ( 主机 ) 中
横向切分 -指定字段分片.取余数0123

Mycat 基于java 的分布式数据库系统中间件 -为高并发环境的分布式存储提供解决方案
1适合大量数据存入
2支持mysql oracle sqlserver mongodb
3支持读写分离
4提供服务数据分片
5实现数据库服务高可用
6alibabacobar 开源

分片规则
1枚举\
2固定分片
3范围约定
4求模
5日期列
6通配取模
7ASCII求摸通配
8字符串拆分
9编程指定
10一致性hash

mycat 服务提供 10 种分片规则。
– 1 枚举法 sharding-by-intfile
– 2 固定分片 rule1
– 3 范围约定 auto-sharding-long
– 4 求模法 mod-long
– 5 日期列分区法 sharding-by-date
– 6 通配取模 sharding-by-pattern
– 7ASCII 码求模通配 sharding-by-prefixpattern
– 8 编程指定 sharding-by-substring
– 9 字符串拆分hash解析 sharding-by-stringhash
– 10 一致性hash sharding-by-murmur


.mycat 工作工程?
当 Mycat 收到一个 SQL 时
– 会先解析这个 SQL 查找涉及到的表,然后看此表的定 义
– 如果有分片规则,则获取到 SQL 里分片字段的值,并 匹配分片函数,得到该 QL 对应的分片列表
– 然后将 SQL 发往这些分片去执行,最后收集和处理所 有分片返回的结果数据,并输出到客户端

环境部署
1装包
yum -y install java-1.8.0-openjdk
Which java
java -version
tar -xf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
mv mycat /usr/local/   -此处和tomcat装包一样
ls /usr/local/

2配置文件
Bin - mycat 命令
Catlet -扩展功能软件
Conf -配置文件 .xml mycat 配置文件
(1)Server.xml   用户名\密码\逻辑库名(information schema ) 
(2)Schema.xml  配置数据分片
(3)Rule.xml 分片规则
(4)*.txt 函数调用文件
Lib -mycat 使用的jar 包
Logs -启动日志和运行日志
Wrapper -启动日志
Mycat.log -执行后报错内容

(1) server .xml (默认不动)配置mycat 服务
<user>

(2)配置数据分片
Schema.xml
cp //usr/local/mycat/conf/schema.xml /root/

vim /usr/local/mycat/conf/schema.xml
sed -i ‘56,77d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘16,18d’ /usr/local/mycat/conf/schema.xml
[root@mycat ~]# sed -i ‘36,39d’ /usr/local/mycat/conf/schema.xml

Vim
— 定义分片信息
所有虚拟表最后都加上dn3
指定数据库主机名
数据节点


指定主机名ip地址 (用户名密码)


select user()


(3)Rule.xml
分片规则

3配置数据库服务器

(1)创建存储数据的库\
 53 :Db1 54:db2 55:db3

(2)授权mycat 连接用用户admin

4 启动mycat 服务
Cd /usr/local/mycat/bin
/usr/local/mycat/bin/mycat start|status|dump|stop|

Ss -antulp | grep :8066端口号 mycat
ps -C java
PID TTY TIME CMD
1586 ? 00:00:47 java

5客户端链接
1连接
2选择表
3建表
4插入记录
Mysql -h -P8066 -u -p
Show databases;
Show tables
Desc hotnews


二分片规则
枚举法(sharding-by-intfile)
求魔法(mod-long)


1
枚举法
字段值必须在列举范围内选择
Schama.xml

-枚举法规则

Rule.xml
<function name=“hash-int” -枚举算法
class=“io.mycat.route.function.PartitionByFileMap”>
partition-hash-int.txt -修改算法规则

Vim /usr/local/mycat/conf/partion-hash-int.txt
cat partition-hash-int.txt
10000=0
10010=1
10020=2

(1)根据sharding-by-intfile建表
(2)Use testdb

mysql> create table employee (
-> id int primary key auto_increment,
-> sharding_id int,
-> name char(15) ,tal char(11)
-> );

51 desc db1.employee;
52 desc db2.employee
53desc db3.employee

插入内容字段

insert into employee(sharding_id ,name ,tal) values(10020,“lucyi”,“264362”)
53.54.55
验证分片效果

Select * from db1.employee
Select * from db2.employee
Select * from db3.employee


求模法 mod-long
根据字段值与设定的数字求模结果存储数据

schema.xml

客户端连接56
创建表插入内容:
create table hotnews( id int(100), comment char(200), worker char(100) );
insert into hotnews(id , comment , worker) values(7,“lonux”,“haha”), (52,“linux”,“xixi”) );
53 54 55验证
Select * from db1.hotnews
Select * from db2.hotnews
Select * from db3.hotnewsmod-long"

****************************************

不分片
schema.xml

create table company ( id int(10) primary key, name char(20), addir char(200), epnum int )

insert into company(id,name,addir,epnum) values(3,“lc”,“huawei”,1040);

******************************

1加新库
Server.xml

123456 TESTDB,GAMEDB

2加新表
Schema.xml

3重启

/usr/local/mycat/bin/mycat stop
/usr/local/mycat/bin/mycat start
4客户端测试
reate table user(name char(100), id int(10), class char(200) );
insert into user(id ,name , class) values(10,“jiji”,“nsd1904”);

select * from user;
| name | id | class |
| jiji | 10 | nsd1904 |
| xxix | 10 | nsd1905 |
| xigua | 10 | nsd1903 |
53测试
select * from db1.user;
| name | id | class |
| xxix | 30 | nsd1905 |
±-----±-----±--------+

54测试
select * from db2.user;
| name | id | class |
±------±-----±--------+
| jiji | 10 | nsd1904 |

展开阅读全文

数据分片

03-01

<span> </span> rn<p>rn <span style="font-size:16px;">&nbsp; &nbsp; &nbsp; &nbsp;</span><span style="font-size:16px;">当你需要一门语法简单功能强悍的编程语言时,Python一定是开发者的首选,经过Google多年以来不断的完善,使得Python成为了今天世界上最流行的编程语言之一,同时由于各个开源技术爱好者的不断贡献,使得Python拥有了完善生态体系,本课程将为读者揭开Python程序开发的神秘面纱。</span> rn</p>rn<p>rn <br />rn</p>rn<p>rn <span></span><span style="font-size:16px;">&nbsp; &nbsp; &nbsp; &nbsp;在本课程之中详尽的为读者分析了Python之中的各个语法组成结构,通过大量的案例对Python语言使用特点的进行全面讲解,同时采用了大量的图形与直白的对话进行程序使用分析。</span><span style="font-size:16px;"></span> rn</p>rn<p>rn <br />rn</p>rn<p>rn <span></span><span style="font-size:16px;">&nbsp; &nbsp; &nbsp; 本课程除了将Python语言的语法讲解透彻之外,还为读者讲解了PyPI分享、PyCharm开发工具、模块的创建与管理、并发编程、IO操作、网络编程、数据库编程、网络爬虫等内容。</span><span style="font-size:16px;"></span> rn</p>rn<p>rn <br />rn</p>rn<p>rn <span style="font-size:16px;background-color:#E53333;color:#FFFFFF;">&nbsp; &nbsp; &nbsp; &nbsp;课程开发工具与代码下载地址:</span><span style="font-size:16px;background-color:#E53333;color:#FFFFFF;">https://pan.baidu.com/s/1ag6uz_UiG_w6EOljWcxi8A</span> rn</p>

没有更多推荐了,返回首页