amoeba + mysql 学习笔记

最新推荐文章于 2024-10-30 10:59:51 发布
最新推荐文章于 2024-10-30 10:59:51 发布
阅读量80 收藏
点赞数
文章标签： 数据库 java
原文链接：http://www.cnblogs.com/cczhoufeng/archive/2012/12/12/2814609.html
版权

 学习资料： 陈思儒——《Amoeba》

分布式数据库系统的优点：
1、降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用
户在自己的本地录用、查询、维护等操作，实行局部控制，降低通信代价，避免集中式需要更高要求
的硬件设备。而且分布式数据库在单台机器上面数据量较少，其响应速度明显提升。
2、提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。
3、易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统，在分布式数
据库中增加一个新的节点，不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在
集中式系统中扩大系统和系统升级，由于有硬件不兼容和软件改变困难等缺点，升级的代价常常是昂
贵和不可行的。

Amoeba 是什么 [英][əˈmi:bə][美][əˈmibə]
Amoeba(变形虫)项目，专注 分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户
端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请
求多台数据库合并结果。

主要解决问题：

  • Built on Java NIO：采用java NIO 框架无阻塞模式，不像传统的Socket编程在大量并发的情况非常浪费系统资源、
    而且可扩展性也较差

　　注：Java NIO 简介

　　　　nio是java New IO的简称，在jdk1.4里提供的新api。Sun官方标榜的特性如下：

　　　　–    为所有的原始类型提供(Buffer)缓存支持。

　　　　–    字符集编码解码解决方案。

　　　　–    Channel：一个新的原始I/O抽象。

　　　　–    支持锁和内存映射文件的文件访问接口。

　　　　–    提供多路(non-bloking)非阻塞式的高伸缩性网络I/O。

  • Reusable Server Connection(可重复使用的服务器连接)：Amoeba 提供与数据库连接的可重用度非常高，在Amoeba系统内Database Connection同时共享给所有连接到Amoeba的客户端
  • 提供读写分离、数据切分

　　　　1. 传统的读写分离技术需要通过客户端或者相关的Database Driver技术才能解决，而且客户端的
　　　　　 配置也比较复杂
　　　　2. 单台Database 性能总是有限制的，基于Amoeba上面可以寻找一种可线性扩展的多数据库支持。
　　　　　 Amoeba为DBA提供一种非常友好的类似SQL语法的数据切分规则同时客户端不用担心过多的
　　　　　 DataBase Server会给应用带来更多的配置。

  • 支持高可用性、负责均衡

　　　　1. Amoeba 提供Database 连接的异常检测与连接恢复功能。
　　　　2. 用户可节省使用其他昂贵的负载均衡的硬件设备，Amoeba提供多台Database Server负载均衡策略
　　　　  （轮询、当前活动连接数量）

Amoeba For Mysql

先决条件：

  1. Java SE 1.5 或以上 Amoeba 框架是基于JDK1.5开发的，采用了JDK1.5的特性。
  2. 支持Mysql 协议版本10（mysql 4.1以后的版本）。
  3. 您的网络环境至少运行有一个mysql 4.1以上的服务。

 

快速配置

  1. 配置Server
配置项是否必选默认值说明
 否8066amoeba server绑定的对外端口
ipAddress否空Amoeba绑定的IP
user是空客户端连接到Amoeba的用户名
password否空客户端连接到Amoeba的密码
readThreadPoolSize否16负责读客户端、database server端网络数据包线程数
clientSideThreadPoolSize否16负责读执行客户端请求的线程数
serverSideThreadPoolSize否16负责处理服务端返回数据包的线程数

　　2.  配置 ConnectionManager：需要至少配置一个ConnectionManager，每个ConnectionManager将作为一个线程启动，ConnectionManager负责管理所注册在自身的Connection，负责他们的空闲检测、死亡检测、IO Event

<!--
每个ConnectionManager都将作为一个线程启动。
manager负责Connection IO读写/死亡检测
-->
<connectionManagerList>
<connectionManager name="defaultManager"
class=”com.meidusa.amoeba.net.AuthingableConnectionManager”/>
<connectionManager name="default"/>
</connectionManagerList>

　　3. 配置 dbServer：需要至少配置一个dbServer，每个dbServer将是物理数据库Server的衍射

　　　factoryConfig——目标物理数据库衍射配置情况：

配置项是否必选默认值说明
manager是空表示该dbServer将注册到指定的ConnectionManager
port否3306目标数据库端口
ipAddress否127.0.0.1目标数据库IP
schema否空连接初始化的Schema
user是空用于登录目标数据库的用户名
password否空用于登录目标数据库的密码
class是空

连接工厂实现类

（com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory）

 

 

 

 

 

 

 

 

 

　　4. poolConfig——连接池配置：

配置项是否必选默认值说明
className否com.meidusa.amoeba.net.poolable.PoolableObjectPool

连接池实现类

maxActive否8最大活动连接数，如果达到最大活动连接数，则会等待
maxIdle否8最大空闲连接数，如果超过则将会关闭多余的空闲连接
minIdle否0最小空闲连接数，连接池将保持最小的空闲连接，即使这些连接长久不用
testOnBorrow否false当连接在使用前
testWhileIdle否false是否检测空闲连接数，这个参数启动的时候下列两个参数才有效
minEvictableIdleTimeMillis否30分钟连接空闲数多少时间将被驱逐（关闭）（time Unit:ms）
timeBetweenEvictionRunsMillis否-1用于关闭空闲连接每间隔多少时间检查一次空闲连接（time Unit:ms）

 

　　

 

 

 

 

 

 

dbServer Tag Configuration

 

<dbServerList>
<!--
一台mysqlServer 需要配置一个pool，
如果多台 平等的mysql需要进行loadBalance，
平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool
简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig
或者自己写一个ObjectPool。
-->
<dbServer name="userdb">
<!-- PoolableObjectFactory实现类 -->
<factoryConfig class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name="manager">defaultManager</property>
<!-- 真实mysql数据库端口 -->
<property name="port">3301</property>
<!-- 真实mysql数据库IP -->
<property name="ipAddress">127.0.0.1</property>
<!-- 用于登陆mysql的用户名 -->
<property name="user">root</property>
<property name="password">password</property>
<property name="schema">test</property>
</factoryConfig>
<!-- ObjectPool实现类 -->
<poolConfig class=”com.meidusa.amoeba.net.poolable.PoolableObjectPool”>
<property name="maxActive">200</property>
<property name="maxIdle">200</property>
<property name="minIdle">10</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServer name="blogdb" >
<!-- PoolableObjectFactory实现类 -->
<factoryConfig class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name="manager">defaultManager</property>
<property name="port">3302</property>
<property name="ipAddress">127.0.0.1</property>
<property name="user">blog</property>
<property name="password">blog</property>
<property name="schema">test</property>
</factoryConfig>
<!-- ObjectPool实现类 -->
<poolConfig class=”com.meidusa.amoeba.net.poolable.PoolableObjectPool”>
<property name="maxActive">200</property>
<property name="maxIdle">200</property>
<property name="minIdle">10</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServer name="other" >
<!-- PoolableObjectFactory实现类 -->
<<factoryConfig class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name="manager">defaultManager</property>
<property name="port">3303</property>
<property name="ipAddress">127.0.0.1</property>
<property name="user">root</property>
<property name="password">password</property>
<property name="schema">test</property>
</factoryConfig>
<!-- ObjectPool实现类 -->
<poolConfig class=”com.meidusa.amoeba.net.poolable.PoolableObjectPool”>
<property name="maxActive">200</property>
<property name="maxIdle">200</property>
<property name="minIdle">10</property>
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer>
<dbServer name="virtualdb" virtual="true">
<poolConfig class=”com.meidusa.amoeba.server.MultipleServerPool”>
<!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED -->
<property name="loadbalance">1</property>
<!-- 参与该pool负载均衡的poolName列表以逗号分割,server1、server2、server3这几个dbserver配置
省略，他们几个是平等的数据库 -->
<property name="poolNames">server1,server2,server3</property>
</poolConfig>
</dbServer>
</dbServerList>

　　5. QueryRouter查询路由配置:

配置项是否必选默认值说明
class是空QueryRouter实现类，Amoeba for Mysql （com.meidusa.amoeba.mysql.parser.MysqlQueryRouter）
functionConfig否空用于解析sql函数的配置文件，如果不配置则将不解析包含函数sql或者解析的不完整
ruleConfig否空数据切分规则配置文件，如果不配置则sql数据切分功能将不能用
needParse否true是否对sql进行parse，如果false则将不能使用数据切分、读写分离等功能
defaultPool是空

needParse=false，无法解析query，不满足切分规则的，writePool | readPool = null情况。所有sql将在默认的dbServer上面执行。

writePool否空启用needParse功能，并且没有匹配到数据切分规则，则update、inster、delete语句将在这个pool中执行
readPool否空启用needParse功能，并且没有匹配到数据切分规则，则select语句将在这个pool中执行
LRUMapSize否1000statment cache , 存放sql解析后得到的statment

 

 

 

 

 

 

 

 

Master/Slave结构之下的读写分离：

Master：master（1个主数据库，可读写）

Slave：slave1，slave2（2个从数据库，只读/负载均衡）

Amoeba提供读写分离pool相关配置。并且提供负载均衡配置。可配置slave1、slave2形成一个虚拟的virtualSlave，该配置提供负载均衡、failOver、故障恢复。

<dbServer name="virtualSlave" virtual="true">
<poolConfig class=”com.meidusa.amoeba.server.MultipleServerPool”>
<!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED -->
<property name="loadbalance">1</property>
<!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
<property name="poolNames">slave1,slave2</property>
</poolConfig>
</dbServer>

如果不启用数据切分，那么只需要配置QueryRouter属性writePool = master   readPool = virtualSlave

<queryRouter class=”com.meidusa.amoeba.mysql.parser.MysqlQueryRouter”>
<property name="LRUMapSize">1500</property>
<property name="defaultPool">master</property>
<property name="writePool">master</property>
<property name="readPool">virtualSlave</property>
<property name="needParse">true</property>
</queryRouter>

那么遇到update / insert / delete 将query 语句发送到 writePool ，将 select 发送到 readPool 机器中执行。

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/cczhoufeng/archive/2012/12/12/2814609.html

weixin_30781433
关注
Linux中的Amoeba：强大的MySQL中间件
JohnnyCS的博客
04-24 661
当有SQL请求到达时，Amoeba会根据预设的规则和数据库服务器的状态，决定将请求路由到哪个数据库服务器上执行。同时，Amoeba还支持读写分离功能，可以将读请求和写请求分发到不同的数据库服务器上，进一步减轻数据库的压力。此外，Amoeba还具备高可用性特性，当某个数据库服务器出现故障时，它可以自动将请求转发到其他可用的服务器上，确保服务的连续性和稳定性。首先，客户端发送SQL请求到Amoeba。然后，Amoeba接收到请求后，根据预设的规则和数据库服务器的状态，决定将请求路由到哪个数据库服务器上。
MySQL学习笔记（1）——高可用组复制
LanceJerry的博客
01-05 1452
MySQL学习笔记（1）——高可用组复制 积土成山，风雨兴焉。积水成渊，蛟龙生焉。 一、概念 组复制（MySQL Group Replication，MGR）是MySQL官方在MySQL 5.7.17版本中以插件形式推出的主从复制高可用技术。其基于原生的主从复制，将各个节点归入到一个组中，通过组内节点的通信协商（组通信协议基于Paxos算法），实现数据的强一致性、故障探测、冲突探测、节点加组、节点离组等功能。 例如具有3个节点的组： 这三个节点互相通信，每当有事件发生，都会向其他节点传播该事件，然后协商
Amoeba：开源的分布式数据库Porxy解决方案
我爱大海V5的专栏
10-19 1053
什么是Amoeba? Amoeba(变形虫)项目，该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的 时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过
Amoeba详细介绍
weixin_34194359的博客
09-05 927
Amoeba的中文意思是变型虫 Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比，作者强调的是amoeba配置的方便（基于XML的配置文件，用SQLJEP语法书写规则，比基于l...
CentOS系统 Amoeba+MySql主从读写分离配置
weixin_34199405的博客
12-20 148
2019独角兽企业重金招聘Python工程师标准>>> ...
amoeba配置详解
08-23
Amoeba:分布式数据库Proxy解决方案 随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用 已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：集中式处理，势必造成性 能瓶颈；应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性 不高；集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。在这种形势下，集中式数 据库将向分布式数据库发展。 分布式数据库系统的优点： 1、降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用 户在自己的本地录用、查询、维护等操作，实行局部控制，降低通信代价，避免集中式需要更高要求 的硬件设备。而且分布式数据库在单台机器上面数据量较少，其响应速度明显提升。 2、提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。 3、易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统，在分布式数 据库中增加一个新的节点，不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在 集中式系统中扩大系统和系统升级，由于有硬件不兼容和软件改变困难等缺点，升级的代价常常是昂 贵和不可行的。
Mysql学习笔记(二)
飞翔的荷兰人
12-19 258
如何实现mysql主从读写分离 1.通过程序实现读写分离(性能，效率最佳，推荐) php和java都可以通过设置多个连接文件轻松的实现对数据库的读写分离，即当select时，就去 连接读库的连接文件，当update,insert,delete时就连接写库的连接文件。 2.通过软件实现读写分离 Mysql-proxy,Amoeba等代理软件也可以实现读写分离功能，但最常用好用的还是程序实现
mysql学习笔记(9)之主从复制
小鱼AS的博客
02-26 951
主从复制主从复制概述应用场景优点与解决的问题主从复制原理复制的基本过程主从复制备份冷备份与恢复逻辑备份物理备份使用mydumper热备份与恢复主从复制实现方式主节点与从节点配置Master节点配置Slave节点配置 内容来源为六星教育，这里仅作为学习笔记 主从复制概述 MySQL数据库支持单向、双向、链式级联、环状等不同业务场景的复制。在复制过程中，一台服务器充当主服务器（Master），接收来自用户的内容更新，而一个或多个其他的服务器充当从服务器（Slave），接收来自主服务器binlog文件的日志内容，
非常详细的某培训机构mysql学习笔记
12-18
非常详细的某培训机构mysql学习笔记，内容系统全面，实用性强 MySQL1 MySQL基础 MySQ单实例部署 MySQL多实例部署 MySQL数据库操作 MySQL数据类型 MySQL存储引擎 MySQL表操作 MySQL2 MySQL数据操作 MySQL单...
【若泽大数据】MySQL DBA 笔记（超详细）
强悍de巨人
04-23 5801
MySQL: DBA关系型数据的基础理论 文件系统上：文件 磁盘上存储空间的数据：可流式化 block: 块 10W, grep;  数据管理软件： 层次模型 网状模型 关系模型 对象-关系模型 非关系模型 DBMS: Database Management System RDBMS:  关系模型中组件： 数据方案 表 视图：虚表，存储下来的select语句 索引 存储过...
CentOS7 部署 MySQL 主从复制，读写分离
2401_83915812的博客
04-23 667
至此，文章终于到了尾声。技术能力：先写岗位所需能力，再写加分能力，不要写无关能力；项目经历：只写明星项目，描述遵循 STAR 法则；简历印象：简历遵循三大原则：清晰，简短，必要，要有的放矢，不要海投；以及最后为大家准备的福利时间：简历模板+Java面试题+热门技术系列教程视频《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！[外链图片转存中…(img-Be9aJBXa-1713816966521)]至此，文章终于到了尾声。
案例：MySQL主从复制与读写分离_mysql读写分离 根据 select、insert 进行路由分类
2401_84002294的博客
04-27 714
我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习已经将知识体系整理好（源码，笔记，PPT，学习视频）slave1,slave2 //修改>
Amoeba基本配置
weixin_34247032的博客
10-05 150
Amoeba安装及读写分离配置一.amoeba简介官网:http://docs.hexnova.com/amoeba/index.html二.Centos下安装jdk1.yum 安装1.6版本jdk2.设置系统变量#vi /etc/profile在最末端增加以下内容export JAVA_HOME=/usr/lib/jvm/jreexport PATH=$JAVA_HOME/bin:$PATHe...
amoeba安装及读写分离配置(windows版）
淡然坊
03-17 3346
在做体系结构作业时，需要实现一个大数据量，对响应速度要求比较高的网站，类似于淘宝。需要使用分布式数据库，负载均衡和读写分离技术。我经过搜索，发现开源的amoeba非常轻便好用。而且是淘宝的某个大牛研发的，支持国产哈哈！主要是中文文档看上去很方便，而且文档写得也挺清晰详细的，易上手。 一、amoeba的安装 1.准备环境 电脑必须已安装并配置好jdk。目前Amoeba经验证
TDDL、Amoeba、Cobar、MyCAT架构比较
热门推荐
和木的专栏
03-28 1万+
布式数据库中间件TDDL、Amoeba、Cobar、MyCAT架构比较分 比较了业界流行的MySQL分布式数据库中间件，关于每个产品的介绍，网上的资料比较多，本文只是对几款产品的架构进行比较，从中可以看出中间件发展和演进路线 框架比较TDDLAmoebaCobarMyCat点评 TDDL不同于其它几款产品，并非独立的中间件，只能算作中间层，是以Jar包方式提供给应用调用。属于JDBC Shard
基于vue框架的的汇生活家居商城的设计与实现bdjlq（程序+源码+数据库+调试部署+开发环境）系统界面在最后面。
h2345678的博客
10-29 1268
项目功能：商品分类,商品信息,用户。
快速上手 Rust——实用示例
好看资源网的博客
10-28 954
在本节中，我们通过一系列实用示例展示了 Rust 在文件操作、网络请求、并发编程、命令行工具以及数据库操作等方面的应用。通过这些示例，您可以更好地理解 Rust 的特性，并将其应用于您的项目中。在这一节中，我们将通过一系列实用的示例来帮助您更好地理解 Rust 的特性，并展示如何在实际项目中使用这些特性。以下示例将展示如何编写一个简单的命令行工具，该工具能够接收用户输入并执行基本的文本操作。以下是一个简单的命令行工具，它接受用户输入的字符串并返回字符串的长度和反转结果。在这个示例中，我们将使用。
JAVA中的MVC三层架构
最新发布
楠寻寻的博客
10-30 977
MVC（Model-View-Controller）是一种软件设计模式，用于将应用程序分为主要的部分：模型（Model）、视图（View）和控制器（Controller）。这种架构有助于提高代码的可维护性和可扩展性。Spring框架通过@Controller@Service和注解清晰地划分了MVC三层架构的各个层次，使得开发人员能够更高效地构建和维护复杂的Web应用。POJO类：用于表示业务实体，通常包含属性和相关的getter/setter方法。DAO类：用于封装对数据库的操作，提供数据访问的接口。
ElasticSearch 入门需要了解的概念
TechCraftsman数据库专栏
10-26 1237
ElasticSearch 入门需要了解的概念
构建amoeba+mysql-mmm高可用集群实现读写分离与双主模式
本文主要探讨了如何利用Amoeba和MySQL-MMM（Master-Master Replication Manager for MySQL）构建一个高可用的MySQL集群，实现读写分离和双主多活架构。Amoeba是一款分布式数据库管理工具，它支持复杂的数据复制和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值