MySQL Inception安装使用

最新推荐文章于 2021-02-16 00:24:38 发布
最新推荐文章于 2021-02-16 00:24:38 发布
阅读量186 收藏
点赞数
文章标签： 数据库 git python
Inception 是一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具，支持MySQL 5.5、5.6以及Percona等主流版本。

测试环境：CentOS 6.9
下载源码
[root@MySQL01 ~]# cd /fire/
[root@MySQL01 fire]# mkdir inception
[root@MySQL01 fire]# cd inception/
[root@MySQL01 inception]# git clone https://github.com/mysql-inception/inception.git
Initialized empty Git repository in /fire/inception/inception/.git/
remote: Counting objects: 2018, done.
remote: Total 2018 (delta 0), reused 0 (delta 0), pack-reused 2018
Receiving objects: 100% (2018/2018), 11.80 MiB | 37 KiB/s, done.
Resolving deltas: 100% (522/522), done.

安装依赖包
yum install bison
yum install cmake
yum install ncurses-devel
yum install openssl-devel
yum install gcc-c++ libgcc gcc

通过sh inception_build.sh debug脚本方式安装
[root@MySQL01 inception]# sh inception_build.sh debug
...
-- Installing: /fire/inception/inception/debug/mysql/man/man1/mysql.1
-- Installing: /fire/inception/inception/debug/mysql/man/man1/mysql_fix_extensions.1
-- Installing: /fire/inception/inception/debug/mysql/man/man1/mysqltest.1
-- Installing: /fire/inception/inception/debug/mysql/man/man1/mysql_client_test.1
-- Installing: /fire/inception/inception/debug/mysql/man/man1/mysql_waitpid.1
-- Installing: /fire/inception/inception/debug/mysql/man/man1/mysql.server.1
-- Installing: /fire/inception/inception/debug/mysql/man/man8/mysqld.8
-- Installing: /fire/inception/inception/debug/mysql/support-files/solaris/postinstall-solaris

默认会安装在/fire/inception/inception/debug/mysql下面

编辑配置文件

  1. [root@MySQL01 script]# vim /etc/inc.cnf
  2. [inception]
  3. general_log=1
  4. general_log_file=/var/inception/log/inception.log
  5. port=6690
  6. socket=/fire/inception/inception/debug/mysql/inc.socket
  7. character-set-client-handshake=0
  8. character-set-server=utf8

  10. # MySQL支持字符集
  11. inception_support_charset=utf8

  13. inception_remote_backup_host=192.168.56.102
  14. inception_remote_backup_port=3306
  15. inception_remote_system_user=inception
  16. inception_remote_system_password=inception

  18. #inception_remote_charset=utf8mb4
  19. inception_enable_nullable=0
  20. inception_check_primary_key=1
  21. inception_check_column_comment=1
  22. inception_check_table_comment=1
  23. inception_enable_blob_type=1
  24. inception_check_column_default_value=1

  26. # OSC
  27. inception_osc_on=1
  28. inception_osc_min_table_size=1
  29. inception_osc_bin_dir=/script/percona-toolkit-3.0.2/bin
  30. inception_osc_check_interval=5
  31. inception_osc_chunk_time=0.1

启动
# /fire/inception/inception/debug/mysql/bin/Inception --defaults-file=/etc/inc.cnf &

执行SQL
编辑python 2脚本，为一张100万行的大表添加字段

  1. [root@MySQL01 script]# vim inception.py
  2. #!/usr/bin/python2.6
  3. #-\*-coding: utf-8-\*-
  4. import MySQLdb
  5. sql='/*--user=neo;--password=neo;--host=192.168.56.101;--execute=1;--port=3306;*/\
  6. inception_magic_start;\
  7. use test;\
  8. alter table item_order add loc5 varchar(30) not null default \'xxx\' comment \'efg\';\
  9. inception_magic_commit;'
  10. try:
  11.     conn=MySQLdb.connect(host='127.0.0.1',user='',passwd='',db='',port=6690)
  12.     cur=conn.cursor()
  13.     ret=cur.execute(sql)
  14.     result=cur.fetchall()
  15.     num_fields = len(cur.description)
  16.     field_names = [i[0] for i in cur.description]
  17.     print field_names
  18.     for row in result:
  19.         print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",
  20.         row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]
  21.     cur.close()
  22.     conn.close()
  23. except MySQLdb.Error,e:
  24.      print "Mysql Error %d: %s" % (e.args[0], e.args[1])

执行脚本
[root@MySQL01 script]# python2.6 inception.py

登录Inception查看OSC的执行过程

  1. # /mysql_software_56/bin/mysql -uroot -h 127.0.0.1 -P 6690
  2. mysql> inception get osc processlist\G
  3. *************************** 1. row ***************************
  4.     DBNAME: test
  5.  TABLENAME: item_order
  6.    COMMAND: alter table item_order add loc5 varchar(30) not null default 'xxx' comment 'efg'
  7.    SQLSHA1: *862B1979B3751217FE56799A0216A2629F2FFD4C
  8.    PERCENT: 100
  9. REMAINTIME: 00:00
  10. INFOMATION: No slaves found. See --recursion-method if host MySQL01 has slaves.
  11. Not checking slave lag because no slaves were found and --check-slave-lag was not specified.
  12. Operation, tries, wait:
  13.   analyze_table, 10, 1
  14.   copy_rows, 10, 0.25
  15.   create_triggers, 10, 1
  16.   drop_triggers, 10, 1
  17.   swap_tables, 10, 1
  18.   update_foreign_keys, 10, 1
  19. Not updating foreign keys because --alter-foreign-keys-method=none. Foreign keys that reference the table will no longer work.
  20. Altering `test`.`item_order`...
  21. Creating new table...
  22. CREATE TABLE `test`.`_item_order_new` (
  23.   `order_id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '订单编号',
  24.   `loc_id` tinyint(3) unsigned NOT NULL COMMENT '地区编号',
  25.   `order_create_date` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '订单生成日期',
  26.   `order_expire_date` timestamp NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '订单过期日期',
  27.   `item_id` int(10) unsigned NOT NULL COMMENT '商品编号',
  28.   `item_cnt` int(10) unsigned NOT NULL COMMENT '商品数量',
  29.   `order_status` tinyint(3) unsigned NOT NULL COMMENT '订单状态,0-失效,1-交易成功',
  30.   `tran_amount` bigint(20) unsigned NOT NULL COMMENT '交易金额',
  31.   PRIMARY KEY (`order_id`),
  32.   KEY `idx_order_loc_status` (`loc_id`,`order_status`,`order_expire_date`),
  33.   KEY `idx_order_loc_exp` (`loc_id`,`order_expire_date`),
  34.   KEY `idx_order_stat_loc_item` (`order_status`,`loc_id`,`item_id`,`tran_amount`),
  35.   KEY `idx_item_id` (`item_id`)
  36. ) ENGINE=InnoDB AUTO_INCREMENT=1000001 DEFAULT CHARSET=utf8 COMMENT='订单表'
  37. Created new table test._item_order_new OK.
  38. Altering new table...
  39. ALTER TABLE `test`.`_item_order_new` add loc5 varchar(30) not null default 'xxx' comment 'efg'
  40. Altered `test`.`_item_order_new` OK.
  41. 2018-04-07T02:03:33 Creating triggers...
  42. CREATE TRIGGER `pt_osc_test_item_order_del` AFTER DELETE ON `test`.`item_order` FOR EACH ROW DELETE IGNORE FROM `test`.`_item_order_new` WHERE `test`.`_item_order_new`.`order_id` <=> OLD.`order_id`
  43. CREATE TRIGGER `pt_osc_test_item_order_upd` AFTER UPDATE ON `test`.`item_order` FOR EACH ROW BEGIN DELETE IGNORE FROM `test`.`_item_order_new` WHERE !(OLD.`order_id` <=> NEW.`order_id`) AND `test`.`_item_order_new`.`order_id` <=> OLD.`order_id`;REPLACE INTO `test`.`_item_order_new` (`order_id`, `loc_id`, `order_create_date`, `order_expire_date`, `item_id`, `item_cnt`, `order_status`, `tran_amount`) VALUES (NEW.`order_id`, NEW.`loc_id`, NEW.`order_create_date`, NEW.`order_expire_date`, NEW.`item_id`, NEW.`item_cnt`, NEW.`order_status`, NEW.`tran_amount`);END
  44. CREATE TRIGGER `pt_osc_test_item_order_ins` AFTER INSERT ON `test`.`item_order` FOR EACH ROW REPLACE INTO `test`.`_item_order_new` (`order_id`, `loc_id`, `order_create_date`, `order_expire_date`, `item_id`, `item_cnt`, `order_status`, `tran_amount`) VALUES (NEW.`order_id`, NEW.`loc_id`, NEW.`order_create_date`, NEW.`order_expire_date`, NEW.`item_id`, NEW.`item_cnt`, NEW.`order_status`, NEW.`tran_amount`)
  45. 2018-04-07T02:03:33 Created triggers OK.
  46. 2018-04-07T02:03:33 Copying approximately 1000219 rows...
  47. INSERT LOW_PRIORITY IGNORE INTO `test`.`_item_order_new` (`order_id`, `loc_id`, `order_create_date`, `order_expire_date`, `item_id`, `item_cnt`, `order_status`, `tran_amount`) SELECT `order_id`, `loc_id`, `order_create_date`, `order_expire_date`, `item_id`, `item_cnt`, `order_status`, `tran_amount` FROM `test`.`item_order` FORCE INDEX(`PRIMARY`) WHERE ((`order_id` >= ?)) AND ((`order_id` <= ?)) LOCK IN SHARE MODE /*pt-online-schema-change 5178 copy nibble*/
  48. SELECT /*!40001 SQL_NO_CACHE */ `order_id` FROM `test`.`item_order` FORCE INDEX(`PRIMARY`) WHERE ((`order_id` >= ?)) ORDER BY `order_id` LIMIT ?, 2 /*next chunk boundary*/
  49. 2018-04-07T02:05:07 Copied rows OK.
  50. 2018-04-07T02:05:07 Swapping tables...
  51. RENAME TABLE `test`.`item_order` TO `test`.`_item_order_old`, `test`.`_item_order_new` TO `test`.`item_order`
  52. 2018-04-07T02:05:10 Swapped original and new tables OK.
  53. 2018-04-07T02:05:10 Dropping old table...
  54. SET foreign_key_checks=0
  55. DROP TABLE IF EXISTS `test`.`_item_order_old`
  56. 2018-04-07T02:05:11 Dropped old table `test`.`_item_order_old` OK.
  57. 2018-04-07T02:05:11 Dropping triggers...
  58. DROP TRIGGER IF EXISTS `test`.`pt_osc_test_item_order_del`;
  59. DROP TRIGGER IF EXISTS `test`.`pt_osc_test_item_order_upd`;
  60. DROP TRIGGER IF EXISTS `test`.`pt_osc_test_item_order_ins`;
  61. 2018-04-07T02:05:11 Dropped triggers OK.
  62. # Event Count
  63. # ====== =====
  64. # INSERT 727
  65. Successfully altered `test`.`item_order`.

  67. 1 row in set (0.00 sec)

语句执行完成
[root@MySQL01 script]# python2.6 inception.py 
['ID', 'stage', 'errlevel', 'stagestatus', 'errormessage', 'SQL', 'Affected_rows', 'sequence', 'backup_dbname', 'execute_time', 'sqlsha1']
1 | RERUN | 0 | Execute Successfully | None | 2 | EXECUTED | 0 | Execute Successfully
Backup successfully | None |

备份及回滚语句的生成条件：
线上服务器必须要打开 binlog，在启动时需要设置参数log_bin、log_bin_index等关于 binlog 的参数。不然不会备份及生成回滚语句。
参数binlog_format必须要设置为 mixed 或者 row 模式。
参数 server_id 必须要设置为非0及非1。

  1. mysql> show global variables like '%log%bin%';
  2. +---------------------------------+------------------------------------+
  3. | Variable_name | Value |
  4. +---------------------------------+------------------------------------+
  5. | log_bin | ON |
  6. | log_bin_basename | /mysql_56_3306/log/mysql-bin |
  7. | log_bin_index | /mysql_56_3306/log/mysql-bin.index |
  8. | log_bin_trust_function_creators | ON |
  9. | log_bin_use_v1_row_events | OFF |
  10. | sql_log_bin | ON |
  11. +---------------------------------+------------------------------------+
  12. 6 rows in set (0.00 sec)

  14. mysql> show global variables like 'binlog_format';
  15. +---------------+-------+
  16. | Variable_name | Value |
  17. +---------------+-------+
  18. | binlog_format | ROW |
  19. +---------------+-------+
  20. 1 row in set (0.00 sec)

  22. mysql> show global variables like 'server_id';
  23. +---------------+-------+
  24. | Variable_name | Value |
  25. +---------------+-------+
  26. | server_id | 102 |
  27. +---------------+-------+
  28. 1 row in set (0.00 sec)

查看备份表

  1. mysql> show databases;
  2. +--------------------------+
  3. | Database |
  4. +--------------------------+
  5. | information_schema |
  6. | 192_168_56_101_3306_test |
  7. | inception |
  8. | mysql |
  9. | performance_schema |
  10. | sale |
  11. | test |
  12. +--------------------------+
  13. 8 rows in set (0.00 sec)

  15. mysql> use 192_168_56_101_3306_test
  16. Reading table information for completion of table and column names
  17. You can turn off this feature to get a quicker startup with -A

  19. Database changed
  20. mysql> show tables;
  21. +------------------------------------+
  22. | Tables_in_192_168_56_101_3306_test |
  23. +------------------------------------+
  24. | $_$inception_backup_information$_$ |
  25. | item_order |
  26. +------------------------------------+
  27. 2 rows in set (0.00 sec)

  29. mysql> select * from item_order;
  30. +----+-----------------------------------------------------+-----------------+
  31. | id | rollback_statement | opid_time |
  32. +----+-----------------------------------------------------+-----------------+
  33. | 1 | ALTER TABLE `test`.`item_order` DROP COLUMN `loc5`; | 1523037912_28_1 |
  34. +----+-----------------------------------------------------+-----------------+
  35. 1 row in set (0.00 sec)

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/26506993/viewspace-2152755/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/26506993/viewspace-2152755/

cuantangnie3915
关注
MySQL运维工具Inception介绍
qq_16608213的博客
04-27 2914
文章目录前言一、Inception 介绍二、相关开源工具介绍1. MySQL Inception 介绍2. Yearning 介绍​配置展示3. GoInception 介绍配置测试总结 前言 日常项目开发中，都会涉及对表结构的修改、数据修改，一般通过 sql 脚本来执行，保存执行记录。 目前我经历过的项目使用的是 flyway 工具来管理数据库脚本版本，保证各个环境的数据库的一致性。使用 flyway 过程中，其优点是： 实行版本管理，方便脚本统一管理； 各环境同步数据库更改方便； 缺点是： 需
inception安装使用
进阶默示录
08-13 475
一个集审核、执行、备份及生成回滚语句于一身的MySQL自动化运维工具,由去哪网开源 安装 CentOS 7 Python 3.6 安装基础环境 yum -y install cmake libncurses5-dev libssl-dev g++ bison gcc gcc-c++ openssl-devel ncurses-devel mysql pymysql ...
inception安装
weixin_30361753的博客
07-21 128
一：简介 Inception是一款自动化运维的利器，有别与现在各个公司使用的方式，使用Inception，将会给DBA带来最大的便利性，将DBA从繁冗的工作中解放出来，做一些更多的自动化工作，或者从架构方面研究如何更大程度的保证数据库的高可用等等。 inception支持语句审核、语句执行、备份回滚、及对OSC支持——在线执行DDL语句。 Inception是集审核、执行、回滚于一体的一...
Inception验证：
一条大河
11-20 748
审计 代码 /*--user=inception_rw;--password=inception_rw;--host=xx.xxx.xx.xx;--port=xxxx;--enable-check;*/ inception_magic_start; use dbtest01; create table inception_test5(id int unsigned n...
基于Inception搭建MySQL SQL审核平台Yearing
风中清淡
11-01 1536
# cmake -DWITH_DEBUG=OFF -DCMAKE_INSTALL_PREFIX=./mysql -DMYSQL_DATADIR=./mysql/data -DWITH_SSL=bundled -DCMAKE_BUILD_TYPE=RELEASE -DWITH_ZLIB=bundled -DMY_MAINTAINER_CXX_WARNINGS=&amp;amp;amp;quot;-Wall -Wextra -Wunu...
mysql-inception-master-v5.6.10.rar
11-23
Inception是一个开源系统，每个人或者每个公司都可以自由使用，由于MySQL代码的复杂性，在审核过程中不可能入戏太深，主要是将最重要的审核完成即可，面对很多复杂的子查询、表达式等是不容易检查到的，所以有些就...
mysql审核工具inception安装包
06-14
mysql审核工具inception安装包，目前已经断更了这个是最新版本的资源
inception mysql 审核_Inception的SQL审核分析
weixin_42356844的博客
02-16 478
Inception的SQL解析过程继承自MySQL，只要是MySQL支持的语法，它也能支持。Inception对SQL的审核是在MySQL的词法、语法解析过程中对审核选项进行判断的。Inception的审核内容可以分为以下几类：SQL的词法检查，例如检查某个表存不存在，关键字正不正确，字段的长度等等。SQL的语法检查，例如是否有注释，主键的个数，索引的个数，字段的个数，字段是否有默认值，是否允许自...
在线修改大表结构之pt-online-schema-change (alter-foreign-keys-method)
这里是标题
02-26 3211
安装 sudo yum install https://repo.percona.com/yum/percona-release-latest.noarch.rpm sudo yum install percona-toolkit 查看触发器： 方式一： use information_schema; select * from TRIGGERS; 方式二： use database_nam...
INSERT 语句与 FOREIGN KEY 约束"XXX"冲突。该冲突发生于数据库"XXX"，表"XXX", column 'XXX。...
weixin_30713953的博客
02-11 9087
做牛腩新闻发布系统的时候遇到了这样的问题：INSERT语句与FOREIGN KEY约束“KF_news_category”冲突。该冲突发生于数据库“newsystem”，表“dbo.category”，column‘id’。 运行程序添加不进去数据，就在SqlServer中直接添加数据，只能添加category表中的数据，news和comment表中无法插入数据，向...
pt-osc 对于改字段名字的问题
autoDBA博客
06-27 649
默认情况下 会报错如下： ALTER TABLE `rider_score_account` CHANGE COLUMN `workorder_order` `workorder_number` int(10) NULL DEFAULT NULL COMMENT '投诉且成立数量' No slaves found. See --recursion-method...
percona-toolkit 之 【pt-online-schema-change】说明
weixin_34143774的博客
12-26 216
背景：       MySQL 大字段的DDL操作：加减字段、索引、修改字段属性等，在5.1之前都是非常耗时耗力的，特别是会对MySQL服务产生影响。在5.1之后随着Plugin Innodb的出现在线加索引的提高了很多，但是还会影响（时间缩短了），主要是出现了MDL锁。不过5.6可以避免上面的情况，但目前大部分在用的版本都是5.6之前的，所以DDL操作一直是运维人员“头疼"的事。那如何在不锁表...
MYSQL在线修改大表
eagle89的专栏
04-24 903
互联网业务都面临着无法停机，需要在线变更数据库结构的情况。但是在线修改数据量较大的表，可能对线上业务产生较大影响，比如： 在线修改大表的表结构执行时间往往不可预估，一般时间较长。 由于修改表结构是表级锁，因此在修改表结构时，影响表写入操作。 如果长时间的修改表结构，中途修改失败，由于修改表结构是一个事务，因此失败后会还原表结构，在这个过程中表都是锁着不可写入。 修改大表结构容易导致数据库 ...
inception对应的osc参数
m0_37827567的博客
01-15 922
inception_osc_bin_dir 用于指定pt-online-schema-change脚本的位置，不可修改，在配置文件中设置 inception_osc_check_interval 默认5 秒 对应参数–check-interval，意义是 Sleep time between checks for --max-lag. inception_osc_chunk_size 默认1000...
Inception使用详解
weixin_34279579的博客
12-29 895
一、Inception简介一款用于MySQL语句的审核的开源工具，不但具备自动化审核功能，同时还具备执行、生成对影响数据的回滚语句功能。 基本架构： 二、Inception安装 1、软件下载 下载链接：https://github.com/mysql-inception/inception文档链接：http://mysql-inception.github.io/incepti...
Incption 介绍 mysql_Inception使用详解
weixin_34570232的博客
01-19 891
一、Inception简介一款用于MySQL语句的审核的开源工具，不但具备自动化审核功能，同时还具备执行、生成对影响数据的回滚语句功能。基本架构：二、Inception安装1、软件下载下载链接：https://github.com/mysql-inception/inception文档链接：http://mysql-inception.github.io/inception-document/2、...
inception安装步骤---自己整理的安装步骤
wulantian的专栏
09-18 1万+
1. 下载： https://github.com/mysql-inception/inception  选择下载： Downloda ZIP 注意安装包： yum -y install cmake  libncurses5-dev libssl-dev g++ bison openssl-devel.x86_64  2. 下载后解压编译： # un
Inception安装部署实现SQL自动审核与上线
热门推荐
thundermeng的博客
04-08 2万+
  1  Incption概述 1.1  Inception简介 Inception是集审核、执行、回滚于一体的一个自动化运维系统，它可以对提交的所有语句的语法分析，如果语法有问题，都会将相应的错误信息返回给审核者。 还提供SQL语句的执行功能，可执行的语句类型包括常用的DML及DDL语句及truncate table等操作。 Inception在执行 DML时还提供生成回滚语句的功能，对应...
inception怎么用
最新发布
09-01
你可以按照以下步骤来使用Inception： 1. 通过修改Inception的配置文件（/etc/inc.cnf），设置相关参数，如日志、端口、字符集等。 2. 下载Inception并进行安装。你可以通过以下链接获取下载链接和文档链接：https://github.com/mysql-inception/inception 3. 安装Inception的依赖包。 4. 注意，在使用Inception执行OSC功能时可能会出现一些问题。如果你在后台启动Inception，可能会导致pt-online-schema-change工具执行完后长时间不返回，进而导致Inception卡死的问题。因此，在现阶段，建议不要使用后台启动方式，或者可以使用nohup Inception启动命令 & 的方式来启动。 请根据以上步骤来正确地使用Inception。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Inception使用详解](https://blog.csdn.net/weixin_34279579/article/details/93209939)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值