java解析 mysql binlog

最新推荐文章于 2024-10-11 10:28:57 发布
最新推荐文章于 2024-10-11 10:28:57 发布
阅读量1w 收藏 6
点赞数 1
分类专栏： JAVA SQL
JAVA 同时被 2 个专栏收录
41 篇文章 1 订阅
订阅专栏
SQL
23 篇文章 0 订阅
订阅专栏

在进入正题之前，我们需要知道binlog的event的类型，先来看看自己binlog文件有哪些？


其中红色部分为event_type。


binlog event 的类型有很多，具体可以参见mysql官方文档：http://dev.mysql.com/doc/internals/en/event-meanings.html


（一）Open Replicator中相关的Event类与接口

Open Replicator是一个用Java编写的MySQL binlog分析程序。Open Replicator 首先连接到MySQL（就像一个普通的MySQL Slave一样），然后接收和分析binlog，最终将分析得出的binlog events以回调的方式通知应用。


所有的Event实现了BinlogEventV4接口。


BinlogEventV4的接口如下：

[java]  view plain  copy
  1. /** 
  2.  * +=====================================+ 
  3.  * | event  | timestamp         0 : 4    | 
  4.  * | header +----------------------------+ 
  5.  * |        | type_code         4 : 1    | 
  6.  * |        +----------------------------+ 
  7.  * |        | server_id         5 : 4    | 
  8.  * |        +----------------------------+ 
  9.  * |        | event_length      9 : 4    | 
  10.  * |        +----------------------------+ 
  11.  * |        | next_position    13 : 4    | 
  12.  * |        +----------------------------+ 
  13.  * |        | flags            17 : 2    | 
  14.  * +=====================================+ 
  15.  * | event  | fixed part       19 : y    | 
  16.  * | data   +----------------------------+ 
  17.  * |        | variable part              | 
  18.  * +=====================================+ 
  19.  * @author Jingqi Xu 
  20.  */  
  21. public interface BinlogEventV4 {  
  22.       
  23.     BinlogEventV4Header getHeader();  
  24. }  

（二）利用Open Replicator解析binlog

在这里首先申明本人的测试环境为：mysql 5.1.61 ,binlog的类型设置为Row,本次解析只考虑insert、update、delete三种事件类型。我们先将三种类型的时间包装为一个新的Event,如下所示：

[java]  view plain  copy
  1. public class LogEvent implements Serializable{  
  2.   
  3.     /** 
  4.      * 只针对delete、insert、update事件 
  5.      */  
  6.     private static final long serialVersionUID = 5503152746318421290L;  
  7.       
  8.     private String eventId = null;  
  9.     private String databaseName = null;  
  10.     private String tableName = null;  
  11.     private String  eventType  = null;  
  12.     private Long    timestamp  = null;  
  13.     private Long timestampRecepite = null;  
  14.     private String binlogName = null;  
  15.     private Long position = null;  
  16.     private Long nextPosition = null;  
  17.     private Long serverId = null;  
  18.     private Map<String, String> before =null;  
  19.     private Map<String, String> after = null;  
  20.       
  21.     public LogEvent(){  
  22.           
  23.     }  
  24.       
  25.     public LogEvent(final QueryEvent qe,String databaseName,String tableName){  
  26.         this.init(qe);  
  27.         this.databaseName=databaseName;  
  28.         this.tableName=tableName;     
  29.     }  
  30.       
  31.     public LogEvent(final AbstractRowEvent re){  
  32.         this.init(re);  
  33.         TableMapEvent tableMapEvent =re.getTme();  
  34.         this.databaseName=tableMapEvent.getDatabaseName().toString();  
  35.         this.tableName=tableMapEvent.getTableName().toString();   
  36.     }  
  37.       
  38.     private void init(final BinlogEventV4 be){  
  39.         this.eventId=UUID.randomUUID().toString();  
  40.         BinlogEventV4Header header = be.getHeader();  
  41.         this.binlogName = header.getBinlogName();  
  42.         this.position = header.getPosition();  
  43.         this.nextPosition = header.getNextPosition();  
  44.         this.timestamp = header.getTimestamp();  
  45.         this.timestampRecepite = header.getTimestampOfReceipt();  
  46.         this.serverId=header.getServerId();  
  47.         this.eventType=MySqlEventTypeIdToString.getInstance().get(header.getEventType());  
  48.     }  
  49.       
  50.       
  51.   
  52.     @Override  
  53.     public String toString() {  
  54.         StringBuilder builder = new StringBuilder();  
  55.         builder.append("{ eventId:").append(eventId);  
  56.         builder.append(",databaseName:").append(databaseName);  
  57.         builder.append(",tableName:").append(tableName);  
  58.         builder.append(",eventType:").append(eventType);  
  59.         builder.append(",timestamp:").append(timestamp);  
  60.         builder.append(",timestampRecepite:").append(timestampRecepite);  
  61.         builder.append(",binlogName:").append(binlogName);  
  62.         builder.append(",position:").append(position);  
  63.         builder.append(",nextPosition:").append(nextPosition);  
  64.         builder.append(",serverId:").append(serverId);  
  65.         builder.append(",before:").append(before);  
  66.         builder.append(",after:").append(after).append(" }");  
  67.         return builder.toString();  
  68.     }  
  69.   
  70.   
  71.   
  72.     public String getEventId() {  
  73.         return eventId;  
  74.     }  
  75.   
  76.     public void setEventId(String eventId) {  
  77.         this.eventId = eventId;  
  78.     }  
  79.   
  80.     public String getDatabaseName() {  
  81.         return databaseName;  
  82.     }  
  83.   
  84.     public void setDatabaseName(String databaseName) {  
  85.         this.databaseName = databaseName;  
  86.     }  
  87.   
  88.     public String getTableName() {  
  89.         return tableName;  
  90.     }  
  91.   
  92.     public void setTableName(String tableName) {  
  93.         this.tableName = tableName;  
  94.     }  
  95.   
  96.     public String getEventType() {  
  97.         return eventType;  
  98.     }  
  99.   
  100.     public void setEventType(String eventType) {  
  101.         this.eventType = eventType;  
  102.     }  
  103.   
  104.     public Long getTimestamp() {  
  105.         return timestamp;  
  106.     }  
  107.   
  108.     public void setTimestamp(Long timestamp) {  
  109.         this.timestamp = timestamp;  
  110.     }  
  111.   
  112.     public Long getTimestampRecepite() {  
  113.         return timestampRecepite;  
  114.     }  
  115.   
  116.     public void setTimestampRecepite(Long timestampRecepite) {  
  117.         this.timestampRecepite = timestampRecepite;  
  118.     }  
  119.   
  120.     public String getBinlogName() {  
  121.         return binlogName;  
  122.     }  
  123.   
  124.     public void setBinlogName(String binlogName) {  
  125.         this.binlogName = binlogName;  
  126.     }  
  127.   
  128.     public Long getPosition() {  
  129.         return position;  
  130.     }  
  131.   
  132.     public void setPosition(Long position) {  
  133.         this.position = position;  
  134.     }  
  135.   
  136.     public Long getNextPosition() {  
  137.         return nextPosition;  
  138.     }  
  139.   
  140.     public void setNextPosition(Long nextPosition) {  
  141.         this.nextPosition = nextPosition;  
  142.     }  
  143.   
  144.     public Long getServerId() {  
  145.         return serverId;  
  146.     }  
  147.   
  148.     public void setServerId(Long serverId) {  
  149.         this.serverId = serverId;  
  150.     }  
  151.   
  152.     public Map<String, String> getBefore() {  
  153.         return before;  
  154.     }  
  155.   
  156.     public void setBefore(Map<String, String> before) {  
  157.         this.before = before;  
  158.     }  
  159.   
  160.     public Map<String, String> getAfter() {  
  161.         return after;  
  162.     }  
  163.   
  164.     public void setAfter(Map<String, String> after) {  
  165.         this.after = after;  
  166.     }  

其中 before、after为一个map,表示变化前后所在行的所有数据（columnName：columnValue)!


好的，先上主程序：

[java]  view plain  copy
  1. public class OpenReplicatorTest {  
  2.     public static void main(String args[]) throws Exception {     
  3.         final OpenReplicator or = new OpenReplicator();  
  4.         or.setUser("root");  
  5.         or.setPassword("root");  
  6.         or.setHost("xx.xxx.xx.xx");  
  7.         or.setPort(3306);  
  8.         or.setServerId(23);  
  9.         or.setBinlogPosition(106);  
  10.         or.setBinlogFileName("mysql-bin.000001");  
  11.           
  12.         or.setBinlogEventListener(new NotificationListener());  
  13.         or.start();  
  14.         }  
  15.     }  

设置监控器NotificationListener, NotificationListener需要实现BinlogEventListener接口：

[java]  view plain  copy
  1. public class NotificationListener implements BinlogEventListener{  
  2.       
  3.     private static Logger logger = LoggerFactory.getLogger(NotificationListener.class);  
  4.       
  5.     private String host="xx.xx.xx.xx";  
  6.     private Integer port=3306;  
  7.     private String username="root";  
  8.     private String password="root";  
  9.       
  10.     public void onEvents(BinlogEventV4 event) {  
  11.         if(event==null){  
  12.             logger.error("binlog event is null");  
  13.             return;  
  14.         }  
  15.   
  16.         if(event instanceof UpdateRowsEvent){  
  17.             UpdateRowsEvent updateRowsEvent = (UpdateRowsEvent)event;  
  18.             LogEvent logEvent = new LogEvent(updateRowsEvent);  
  19.               
  20.             List<Pair<Row>> rows = updateRowsEvent.getRows();  
  21.             List<Column> cols_after = null;  
  22.             List<Column> cols_before = null;  
  23.             for(Pair<Row> p : rows){  
  24.                  Row after = p.getAfter();  
  25.                  Row before = p.getBefore();  
  26.                  cols_after = after.getColumns();  
  27.                  cols_before = before.getColumns();  
  28.                  break;  
  29.             }  
  30.             logEvent.setBefore(getMap(cols_before, updateRowsEvent.getTme().getDatabaseName().toString(), updateRowsEvent.getTme().getTableName().toString()));  
  31.             logEvent.setAfter(getMap(cols_after, updateRowsEvent.getTme().getDatabaseName().toString(), updateRowsEvent.getTme().getTableName().toString()));  
  32.             logger.info("update event is:"+logEvent);  
  33.         }else if(event instanceof DeleteRowsEvent){  
  34.             DeleteRowsEvent deleteRowsEvent = (DeleteRowsEvent)event;  
  35.             LogEvent logEvent = new LogEvent(deleteRowsEvent);  
  36.             List<Row> rows = deleteRowsEvent.getRows();  
  37.             List<Column> before = null;  
  38.             for(Row row:rows){  
  39.                 before = row.getColumns();  
  40.                 break;  
  41.             }  
  42.             logEvent.setBefore(getMap(before, deleteRowsEvent.getTme().getDatabaseName().toString(), deleteRowsEvent.getTme().getTableName().toString()));  
  43.             logger.info("delete event is:"+logEvent);  
  44.               
  45.         }else if(event instanceof WriteRowsEvent){  
  46.             WriteRowsEvent wrtiteRowsEvent = (WriteRowsEvent)event;  
  47.             LogEvent logEvent = new LogEvent(wrtiteRowsEvent);  
  48.             List<Row> rows = wrtiteRowsEvent.getRows();  
  49.             List<Column> before = null;  
  50.             for(Row row:rows){  
  51.                 before = row.getColumns();  
  52.                 break;  
  53.             }  
  54.             logEvent.setAfter(getMap(before, wrtiteRowsEvent.getTme().getDatabaseName().toString(), wrtiteRowsEvent.getTme().getTableName().toString()));  
  55.             logger.info("write event is:"+logEvent);  
  56.               
  57.         }     
  58.     }  
  59.       
  60.     private Map<String, String> getMap(List<Column> cols,String databaseName,String tableName){  
  61.         if(cols==null||cols.size()==0){  
  62.             return null;  
  63.         }  
  64.         List<String> columnNames = new TableInfo(host,username,password, port).getColumns(databaseName, tableName);  
  65.         if(columnNames==null){  
  66.             return null;  
  67.         }  
  68.         if(columnNames.size()!=cols.size()){  
  69.             logger.error("the size does not match...");  
  70.             return null;  
  71.         }  
  72.         Map<String, String> map = new HashMap<String, String>();  
  73.         for(int i=0;i<columnNames.size();i++){  
  74.             if(cols.get(i).getValue()==null){  
  75.                 map.put(columnNames.get(i).toString(),"");  
  76.             }else{  
  77.                 map.put(columnNames.get(i).toString(),cols.get(i).toString());  
  78.             }  
  79.               
  80.         }  
  81.         return map;  
  82.     }  

由于 Open Replicator 提供的Event中不包含数据库表中所有字段column name的信息，DeleteRowsEvent、UpdateRowsEvent、WriteRowsEvent包含变化前后的字段column value信息，而我们需要将其组合成before与after，因此需要想办法获取column names:

[java]  view plain  copy
  1. public class TableInfo {  
  2.     private static Logger logger = LoggerFactory.getLogger(TableInfo.class);  
  3.       
  4.     /** 
  5.      * key:databaseName+""+tableName 
  6.      * value:columns name 
  7.      */  
  8.     private static Map<String, List<String>> columnsMap = new HashMap<String, List<String>>();  
  9.     private String host;  
  10.     private Integer port;  
  11.     private String username;  
  12.     private String password;  
  13.       
  14.     public TableInfo(String host,String username,String password,Integer port){  
  15.         this.host=host;  
  16.         this.username=username;  
  17.         this.password=password;  
  18.         this.port = port;  
  19.         if(columnsMap==null||columnsMap.size()==0){  
  20.             MysqlConnection.setConnection(this.host,this.port,this.username,this.password);  
  21.             columnsMap = MysqlConnection.getColumns();  
  22.         }  
  23.     }  
  24.       
  25.     public Map<String, List<String>> getMap(){  
  26.         return columnsMap;  
  27.     }  
  28.       
  29.     public List<String> getColumns(String databaseName,String tableName){  
  30.         if(StringUtils.isNullOrEmpty(databaseName)||StringUtils.isNullOrEmpty(tableName)){  
  31.             return null;  
  32.         }  
  33.         String key = databaseName + "."+tableName;  
  34.         List<String> list =null;  
  35.         if(columnsMap.size()==0){  
  36.             MysqlConnection.setConnection(this.host,this.port,this.username,this.password);  
  37.             columnsMap = MysqlConnection.getColumns();  
  38.             list = columnsMap.get(key);  
  39.         }else{  
  40.             list=columnsMap.get(key);  
  41.             if(list==null||list.size()==0){  
  42.                 MysqlConnection.setConnection(this.host,this.port,this.username,this.password);  
  43.                 columnsMap = MysqlConnection.getColumns();  
  44.                 list = columnsMap.get(key);  
  45.             }  
  46.               
  47.         }  
  48.         return list;  
  49.     }  


MysqlConnection实现类如下：

[java]  view plain  copy
  1. public class MysqlConnection {  
  2.   
  3.     private static Connection conn;  
  4.   
  5.     private static final Logger logger = LoggerFactory.getLogger(MysqlConnection.class);  
  6.     private static String host;  
  7.     private static Integer port;  
  8.     private static String user;  
  9.     private static String password;  
  10.   
  11.     public static void setConnection(String mySQLHost, Integer mySQLPort, String mySQLUser,  
  12.             String mySQLPassword) {  
  13.         try {  
  14.             if (conn == null || conn.isClosed()) {  
  15.                 Class.forName("com.mysql.jdbc.Driver");  
  16.   
  17.                 conn = DriverManager.getConnection("jdbc:mysql://" + mySQLHost + ":" + mySQLPort  
  18.                         + "/", mySQLUser, mySQLPassword);  
  19.                 logger.info("connected to mysql:{} : {}", mySQLHost, mySQLPort);  
  20.                 host = mySQLHost;  
  21.                 port = mySQLPort;  
  22.                 user = mySQLUser;  
  23.                 password = mySQLPassword;  
  24.             }  
  25.         } catch (Exception e) {  
  26.             logger.error(e.getMessage(), e);  
  27.         }  
  28.     }  
  29.   
  30.     public static Connection getConnection() {  
  31.         try {  
  32.             if (conn == null || conn.isClosed()) {  
  33.                 setConnection(host, port, user, password);  
  34.             }  
  35.         } catch (Exception e) {  
  36.             logger.error(e.getMessage(), e);  
  37.         }  
  38.         return conn;  
  39.     }  
  40.   
  41.     public static Map<String, List<String>> getColumns(){  
  42.         Map<String, List<String>> cols = new HashMap<String, List<String>>();  
  43.         Connection conn = getConnection();  
  44.         try {  
  45.             DatabaseMetaData metaData = conn.getMetaData();  
  46.             ResultSet r = metaData.getCatalogs();  
  47.             String tableType[] = { "TABLE" };  
  48.             while (r.next()) {  
  49.                 String databaseName = r.getString("TABLE_CAT");  
  50.                 ResultSet result = metaData.getTables(databaseName, null, null, tableType);  
  51.                 while (result.next()) {  
  52.                     String tableName = result.getString("TABLE_NAME");  
  53.                     String key = databaseName + "." + tableName;  
  54.                     ResultSet colSet = metaData.getColumns(databaseName, null, tableName, null);  
  55.                     cols.put(key, new ArrayList<String>());  
  56.                     while (colSet.next()) {  
  57.                         String column = colSet.getString("COLUMN_NAME");  
  58.                         cols.get(key).add(column);  
  59.                     }  
  60.                 }  
  61.             }  
  62.   
  63.         } catch (SQLException e) {  
  64.             logger.error(e.getMessage(), e);  
  65.             return null;  
  66.         }  
  67.         return cols;  
  68.     }  
  69. }  

辅助类，根据event id获取event type:

[java]  view plain  copy
  1. public class MySqlEventTypeIdToString {  
  2.     private static Map<Integer, String> idToString = new HashMap<Integer, String>();  
  3.     private MySqlEventTypeIdToString() {  
  4.         Init();  
  5.     }  
  6.     public static MySqlEventTypeIdToString getInstance() {  
  7.         return m;  
  8.     }  
  9.     private void Init() {  
  10.         idToString.put(0,"UNKNOWN_EVENT");  
  11.         idToString.put(1,"START_EVENT_V3");  
  12.         idToString.put(2,"QUERY_EVENT");  
  13.         idToString.put(3,"STOP_EVENT");  
  14.         idToString.put(4,"ROTATE_EVENT");  
  15.         idToString.put(5,"INTVAR_EVENT");  
  16.         idToString.put(6,"LOAD_EVENT");  
  17.         idToString.put(7,"SLAVE_EVENT");  
  18.         idToString.put(8,"CREATE_FILE_EVENT");  
  19.         idToString.put(9,"APPEND_BLOCK_EVENT");  
  20.         idToString.put(10,"EXEC_LOAD_EVENT");  
  21.         idToString.put(11,"DELETE_FILE_EVENT");  
  22.         idToString.put(12,"NEW_LOAD_EVENT");  
  23.         idToString.put(13,"RAND_EVENT");  
  24.         idToString.put(14,"USER_VAR_EVENT");  
  25.         idToString.put(15,"FORMAT_DESCRIPTION_EVENT");  
  26.         idToString.put(16,"XID_EVENT");  
  27.         idToString.put(17,"BEGIN_LOAD_QUERY_EVENT");  
  28.         idToString.put(18,"EXECUTE_LOAD_QUERY_EVENT");  
  29.         idToString.put(19,"TABLE_MAP_EVENT");  
  30.         idToString.put(20,"PRE_GA_WRITE_ROWS_EVENT");  
  31.         idToString.put(21,"PRE_GA_UPDATE_ROWS_EVENT");  
  32.         idToString.put(22,"PRE_GA_DELETE_ROWS_EVENT");  
  33.         idToString.put(23,"WRITE_ROWS_EVENT");  
  34.         idToString.put(24,"UPDATE_ROWS_EVENT");  
  35.         idToString.put(25,"DELETE_ROWS_EVENT");  
  36.         idToString.put(26,"INCIDENT_EVENT");  
  37.         idToString.put(27,"HEARTBEAT_LOG_EVENT");  
  38.         idToString.put(28,"IGNORABLE_LOG_EVENT");  
  39.         idToString.put(29,"ROWS_QUERY_LOG_EVENT");  
  40.         idToString.put(30,"WRITE_ROWS_EVENT_V2");  
  41.         idToString.put(31,"UPDATE_ROWS_EVENT_V2");  
  42.         idToString.put(32,"DELETE_ROWS_EVENT_V2");  
  43.         idToString.put(33,"GTID_LOG_EVENT");  
  44.         idToString.put(34,"ANONYMOUS_GTID_LOG_EVENT");  
  45.         idToString.put(35,"PREVIOUS_GTIDS_LOG_EVENT");  
  46.     }  
  47.     public String get(Integer eventId) {  
  48.         return idToString.get(eventId);  
  49.     }  
  50. }  

运行：

[plain]  view plain  copy
  1. update event is: {  
  2.     eventId: a7acc3d0-7721-4ffe-84d4-4c2b7db5423a,  
  3.     databaseName: test,  
  4.     tableName: task,  
  5.     eventType: UPDATE_ROWS_EVENT,  
  6.     timestamp: 1450753740000,  
  7.     timestampRecepite: 1450887259271,  
  8.     binlogName: mysql-bin.000001,  
  9.     position: 248,  
  10.     nextPosition: 358,  
  11.     serverId: 23,  
  12.     before: {  
  13.         id=791,  
  14.         user_name=123,  
  15.         topology_path=,  
  16.         update_time=2015-08-05 10:53:57.0,  
  17.         status=1,  
  18.         department=,  
  19.         name=user01,  
  20.         create_time=2015-12-21 19:30:36.0,  
  21.         user_id=-1  
  22.     },  
  23.     after: {  
  24.         id=791,  
  25.         user_name=123,  
  26.         topology_path=,  
  27.         update_time=2015-08-05 10:53:57.0,  
  28.         status=2,  
  29.         department=,  
  30.         name=user02,  
  31.         create_time=2015-12-22 11:09:00.0,  
  32.         user_id=-1  
  33.     }  
  34. }  


clypm
关注
专栏目录
mysql binlog 解析
HelloJave的博客
12-04 259
三种模式： Statement 每一条修改数据的sql都会记录到master的bin_log中，slave在复制的时候sql进程会解析成master端执行过的相同的sql在slave库上再次执行 好处：不需要记录每一行的变化，日志量少 ！ 坏处：每条语句在执行的时候需要也就是上下文信息，保证所有语句在slave端能够得到和在master端相同的执行结果，特别是修改数据的时候使用...
MySQL Binlog解析
稚枭天卓
10-16 362
概述 MySQL的安装可以参考：Linux(CentOS)中常用软件安装，使用及异常——MySQL, VmTools MySQL关于Binlog的官方文档：The Binary Log 基于Binlog的主备复制：MySQL主备复制原理、实现及异常处理 什么是 Binlog MySQL Server 有四种类型的日志——Error Log、General Query Log、Binary L...
MySql的binlog与数据的恢复
最新发布
u010741032的博客
10-11 1007
MySQL的二进制日志（binlog）用于记录数据库的更改操作，对于数据恢复和主从复制非常重要
Java 解析binlog实现数据同步增量等操作
ycg的博客
04-04 5441
相比row能节约多少性能与日志量，这个取决于应用的SQL情况，正常同一条记录修改或者插入row格式所产生的日志量还小鱼statement产生的日志量，但是考虑到如果带条件的update操作，以及整表删除，alter表等操作，row格式会产生大量日志，因此在考虑是否使用row格式日志时应该根据应用的实际情况，其所产生的日志量会增加多少，以及带来的IO性能问题。缺点:所有的执行的语句当记录到日志中的时候，都将以每行记录的修改来记录，这样可能会产生大量的日志内容。显示主服务器使用的二进制文件及大小。
java解析binlog日志，超级详细~
lp1302190871的博客
12-28 1251
java解析binlog日志
java 解析 logbin
weixin_42512249的博客
07-25 84
解析 MySQL binlog 文件的 Java 实现 在数据库运维和开发过程中，我们经常需要对 MySQL 的二进制日志（binlog）进行解析，以便了解数据库的变更历史、数据迁移、数据恢复等。本文将介绍如何使用 Java 语言来解析 MySQL binlog 文件。 什么是 MySQL binlog？ MySQL bi...
mysql binlog系列（二）----java解析binlog
dy_f的专栏
09-29 1135
mysql binlog系列（二）----java解析binlog https://blog.csdn.net/ouyang111222/article/details/50383222
java 解析mysql 的binlog 日志文件
bwcx_jzy 的博客
03-05 8494
原文链接：https://ask.hellobi.com/blog/cimen/9133 Maven 配置 &lt;dependency&gt; &lt;groupId&gt;com.github.shyiko&lt;/groupId&gt; &lt;artifactId&gt;mysql-binlog-connector-java&lt;/artifactId&gt; ...
spring boot使用mysql-jdbc-java解析mysql binlog
05-24
要使用MySQL JDBC驱动解析MySQL binlog，可以使用下面的步骤： 1.添加MySQL JDBC驱动：在pom.xml文件中添加以下依赖项： ```xml <groupId>mysql <artifactId>mysql-connector-java <version>8.0.25 ``` 2....
MySQL binlog解析
zhao_yrr的博客
03-15 212
binlog中记录的时间戳 #200315 0:17:28 server id 1 end_log_pos 1805 CRC32 0xe7b53c6b Xid = 109 200315 0:17:28就是binlog事件格式中的when，它记录了语句在执行前的时间。 Log_event::Log_event( THD* thd_arg, uint16 flags_arg, ...
Java监听mysql的binlog详解(mysql-binlog-connector)
热门推荐
靖节先生的博客
07-27 3万+
Java监听mysql的binlog详解1.需求概述1.1 需求概述1.2 实现方案2.环境准备2.1 mysql开启binlog2.1.1查看是否开启binlog2.1.2 win mysql开启binlog3.代码编写3.1 创建springboot项目3.2 引入依赖3.3 监听实现4.实现验证 1.需求概述 1.1 需求概述 业务开发中经常需要根据一些数据变更实现相对应的操作。例如，一些用户注销自己的账户，系统可以给用户自动发短信确认，这时有两种解决方案，一种是耦合到业务系统中，当用户执行注销操作的
java取mysql日志_MySQL日志管理工具 mysqlbinlog
weixin_30015509的博客
03-08 98
[root@db02 data]# ls mysql_bin.0*mysql_bin.000001 mysql_bin.000002使用cat查看都是乱码的，要使用mysqlbinlog[root@db02 data]# cat mysql_bin.000001\þbinŔ̚tx5.6.36-logŔ̚8?n¯±̚ @std!!!testBEGINC)¯±̚.턁teststunد±̚ 2 Fÿþ...
使用java语言基于某个时间，其实时间以及结束时间解析binlog文件的新增任务，包含表和主键信息
wuchongyong的博客
07-17 355
使用Java语言基于某个时间解析binlog文件的新增任务，包含表和主键信息，可以借助mysql-binlog-connector-java这个依赖包来实现。请注意，上述代码中的hostname、username和password需要替换为你自己的MySQL数据库的连接信息。
mysql 5.6 二进制日志_MySQLbinlog日志(二进制日志)的使用方法
weixin_32073375的博客
01-27 406
MySQL binlog日志的使用方法查看当前服务器所有的二进制日志文件命令：show binary logs;或者(show master logs;)如：mysql> show binary logs;+-----------------+-----------+| Log_name | File_size |+-----------------+-----------+|...
spring boot使用mysql-jdbc-java解析mysql binlog logid
05-24
要使用Spring Boot解析MySQL binlog，你需要使用一个名为"debezium"的开源库，它提供了一个用于解析MySQL binlog的模块。 以下是使用Spring Boot和Debezium解析MySQL binlog的步骤： 1. 添加Debezium依赖 在pom....
Mysql，使用Mysqlbinlog，解析binlog日志
Crazy_Cw的博客
07-10 7162
`Mysql`，使用`Mysqlbinlog` 解析 `binlog`日志 前言：很多时候，当我们的业务数据产生了不正常的变化，但却无法得知这类操作是在哪里进行，并且如何进行，单单从程序当面排查很费力。那么就需要通过分析数据库日志来得到历史执行 `SQL`，根据 `SQL` 执行逻辑来确认代码位置，进而确认是否是 BUG，亦或是误操作等。......
如何使用java解析TiDB的binlog文件
努力让自己更优秀的博客
08-26 1320
1，找到TiDB的官方文档中binlog的说明： https://docs.pingcap.com/zh/tidb/stable/binlog-slave-client#binlog-slave-client-%E7%94%A8%E6%88%B7%E6%96%87%E6%A1%A3 官方的文档说明 TiDB的binlog主要是采用protobuf对日志文件序列化并发送到kafka中； 2，将文档中protobuf文件的定义的格式copy到一个 binlog.proto文件中； 3，maven项目pom中依赖
OpenReplicator解析binlog异常java.io.EOFException: null
荣耀之路
09-13 615
OpenReplicator解析binlog异常java.io.EOFException: null
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值