binlog是什么
mysql用于主从同步的二进制日志,主服务器数据发生更新后会把变动记录binlog文件,然后从服务器会拉取binlog文件解析,实现数据同步。
Binlog记录更新的方式
- Statement:文件中存的是sql语句,优点是传输的数据量比较少,缺点是很难保证主从一致。比如rand()会在不同的地方产生不同的值。
- Row:文件中存的是更新的那一行的数据内容,优点是不会出错,缺点是传输的数据量比较大
Mixed:兼顾两种优点,会产生歧义的用row模式,不会产生歧义的用state模式
我们这里要解析的是row模式的binlog,sql语句解出来对我们并没有什么用解析的目的
针对一些需要频繁在数据库中查找的数据,在内存或者redis中维护一块缓存镜像,通过解析binlog实现镜像数据的增量同步。
利用mysql内部通讯协议获取binlog
- 拉取过程:连接mysql服务器后,发送一个请求包过去,然后就对那个socket一直不断的拉取数据。
- 请求包的格式:3字节的包长 + 1字节的 seq + payload
- payload
字段类型 | 字段名 | 字段说明 |
---|---|---|
1 | [12] COM_BINLOG_DUMP | dump命令,值为12 |
4 | binlog-pos | 请求的binglog的位置,server从这个位置开始返回数据流 |
2 | flags | 0x01表示非阻塞,没有新数据时会返回eof_packet,默认为阻塞 |
4 | server-id | 从服务器的server-id |
string[EOF] | binlog-filename | 请求的binglog文件名 |
注意:flag 设为0x00 在Maria db 表现还是为非阻塞,请在mysql上测试。
发送包的组包代码如下
int32_t bus_dump_cmd_t::write_packet(int fd)
{
char buf[1024];
uint32_t bodysz = 0;
uint32_t offset = 4;
buf[offset] = _cmd;
bodysz += 1;
int4store(buf + offset + bodysz, _binlog_pos);
bodysz += 4;
int2store(buf + offset + bodysz, _flags);
bodysz += 2;
int4store(buf + offset + bodysz, _server_id);
bodysz += 4;
std::size_t binlog_filename_len = _binlog_filename.size();
memcpy(buf + offset + bodysz, _binlog_filename.c_str(), binlog_filename_len);
bodysz += binlog_filename_len;
/* set seq id */
buf[offset - 1] = 0x00;
int3store(buf, bodysz);
int ret = write(fd, buf, bodysz + 4);
if (ret != int(bodysz + 4))
{
g_logger.error("write dump cmd packet fail, error:%s", strerror(errno));
return -1;
}
return 0;
}
- 返回包的格式:
- 3 字节包长 + 1字节的seq + 一字节状态码 + event
- 包长为 小端模式
- 状态码 有两个 0x00 表示后面是正常event, 0xff 表示是一个 ERR_packet,里面是一些错误信息。
- 错误包的格式
Type | Name | Description |
---|---|---|
int<1> | header | [ff] header of the ERR packet |
int<2> | error_code | error-code |
if capabilities & CLIENT_PROTOCOL_41 { | ||
string[1] | sql_state_marker | marker of the SQL State |
string[5] | sql_stateSQL State | |
} | ||
string | error_message | human readable error message |
如上图所示,有 2字节的错误码 + 6字节的状态码 + 一串错误信息