SQL 数据库 同步（二）

最新推荐文章于 2024-07-14 19:46:27 发布
最新推荐文章于 2024-07-14 19:46:27 发布
阅读量664 收藏 1
点赞数
文章标签： 数据库 sql string database path tsql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bobui/article/details/4567032
版权

 

二．受到老同事数据库同步软件的启发，我制作了一个基于触发器的同步。

基本风格和老同事的一样，我们还是先来看界面

继续沿用了前人的智慧。。。

 

 

第一次界面跳转时，需要的时间比较长。。。（后台工作比较多）

刚刚几个图形不好截取，就是工具里面的，包括：表比较，完整备份，差异备份和增量备份。

这个数据库同步实现的原理是：

在主数据库服务器的指定数据库上面建一个基于库的触发器来记录数据库的库结构改变，然后直接基于数据库连接在从数据库上执行一遍；在数据库内所有的数据表上面建立一个基于表内容得触发器来记录各个表的数据变化情况。在退出软件时删掉所有的触发器。

相关代码：

  #region 设置同步

        //同步是思路：为主服务器上的每个表都创建三个触发器，用来做插入、更新、删除操作。

        private void SetSynchronous()

        {

            //获取主机服务器上数据库中的所有数据表

            GetHostserverDatatable();

        }

        #endregion

 

        #region 获取主服务器数据库的表列表

        private void GetHostserverDatatable()

        {

            listMessage.Items.Add("启动同步程序！");

            try

            {

                listMessage.Items.Add("读取配置文件！");

                XmlHelper xmlHelper;

                try

                {

                    xmlHelper = new XmlHelper("//config.xml");//配置文件存在或者错误

                }

                catch

                {

                    listMessage.Items.Add("读取配置文件出错，或配置文件不错在！");

                    listMessage.Items.Add("创建默认配置文件！");

                    //配置文件不存在

                    //创建配置文件

                    XmlHelper xml = new XmlHelper();

                    xml.createXml();

                    //读取配置文件

                    listMessage.Items.Add("读取默认配置文件！");

                    xmlHelper = new XmlHelper("//config.xml");

                }

                XmlNode rootNode = xmlHelper.GetSubIndexNode("systemconfig", 0);//获取根节点

                XmlNodeList hostServer = rootNode.ChildNodes[0].ChildNodes[0].ChildNodes;//获取主服务器配置节点

                XmlNodeList hostTableNode = rootNode.ChildNodes[1].ChildNodes[0].ChildNodes;//获取服务器中所有的表

                listMessage.Items.Add("准备配置表同步！");

 

                #region 创建日志表

                //判断日志表是否存在

                string sql0 = @"IF not EXISTS (select 1 from sysobjects where id = object_id('ddl_log2') and type = 'U')

CREATE TABLE ddl_log2 (PostTime DATETIME   NOT   NULL   DEFAULT   (GETDATE()), TSQL text);";

                string connectionString1 = "Data Source=192.168.0.104//sql2005;database=bobuitest2;User Id=sa;Password=123456";

                //删除存在的触发器

                string sql1 = @"IF EXISTS (SELECT * FROM sys.triggers WHERE parent_class = 0 AND name = 'Log') DROP TRIGGER Log ON DATABASE;";

                SqlHelper.ExecuteNonQuery(connectionString1, CommandType.Text, sql0);

                SqlHelper.ExecuteNonQuery(connectionString1, CommandType.Text, sql1);

                #endregion

 

                #region 数据同步

                foreach (XmlNode xn in hostTableNode)

                {

                    //创建表的触发器

                    DeleteTablesTrigger(xn.InnerText, connectionString1);

                    CreateTablesTrigger(xn.InnerText, connectionString1);

                    listMessage.Items.Add(xn.InnerText.Trim() + "配置成功！");

                }

                #endregion

 

                #region 创建数据库库结构同步

                //创建可能不存在的表

                string sql2 = @"IF not EXISTS (select 1 from sysobjects where id = object_id('ddl_log2') and type = 'U')"+

                         "CREATE TABLE ddl_log2 (PostTime datetime, TSQL nvarchar(2000));";

                //创建结构同步触发器

                string sql3 = @"CREATE TRIGGER Log ON DATABASE FOR DDL_DATABASE_LEVEL_EVENTS AS DECLARE @data XML SET @data = EVENTDATA() INSERT ddl_log2 (PostTime, TSQL)    VALUES    (GETDATE(),    @data.value('(/EVENT_INSTANCE/TSQLCommand)[1]','nvarchar(2000)') ) ;";

 

                SqlHelper.ExecuteNonQuery(connectionString1, CommandType.Text, sql2);

                SqlHelper.ExecuteNonQuery(connectionString1, CommandType.Text, sql3);

                #endregion

            }

            catch

            {

 

            }

        }

 

#region 删除表的三种触发器

        private void DeleteTablesTrigger(string tableName, string connectionString1)

        {

            if (tableName != "ddl_log2")

            {

                string sql1 = @"if exists (select   *   from   dbo.sysobjects   where   id   =   object_id(N'[dbo].[TR_" + tableName + "]')   and   OBJECTPROPERTY(id,   N'IsTrigger')   =   1" +

") drop trigger TR_" + tableName;

 

                SqlHelper.ExecuteNonQuery(connectionString1, CommandType.Text, sql1);

            }

        }

        #endregion

        #endregion

 

        #region 创建表的三种触发器

        private void CreateTablesTrigger(string tableName, string connectionString1)

        {

            if (tableName != "ddl_log2")

            {

                string sql2 = @" CREATE   TRIGGER   TR_" + tableName + "   ON  " + tableName +

                             " FOR   INSERT,DELETE,UPDATE   " +

                             " AS " +

                           " SET   NOCOUNT   ON " +

                             " CREATE   TABLE   #T_" + tableName + "   (  " +

                            " EVENTTYPE             VARCHAR(20)," +

                            "  PARAMETERS   INT,   " +

                             " EVENTINFO   VARCHAR(8000)   " +

                            "  )  " +

                             " DECLARE @SPID VARCHAR(20)" +

                            "  SET @SPID=CAST(@@SPID AS VARCHAR)" +

                             " INSERT #T_" + tableName + " EXEC('DBCC INPUTBUFFER ('+@SPID+')') " +

                           " INSERT   ddl_log2   (   " +

                             " TSQL " +

                             " )   " +

                            " SELECT   EVENTINFO" +

                             " FROM   #T_" + tableName;

 

                SqlHelper.ExecuteNonQuery(connectionString1, CommandType.Text, sql2);

            }

 

        }

        #endregion

 

  #region 循环读取更改记录

        private void timer1_Tick(object sender, EventArgs e)

        {

 

            //将更改值获取写入记事本中

            SqlConnection conn = new SqlConnection(@"Data Source=192.168.0.104/sql2005;database=bobuitest2;User Id=sa;Password=123456;");

            conn.Open();

            DateTime dt = DateTime.Now;

            string sql = "select * from [ddl_log2] where PostTime between '" + dt.AddSeconds(-30) + "' and  '" + dt + "'";

            SqlDataAdapter sda = new SqlDataAdapter(sql, conn);

            DataSet ds = new DataSet();

            sda.Fill(ds, "ds");

            conn.Close();

            sda.Dispose();

 

            int count = ds.Tables[0].Rows.Count;

            try

            {

                string path1 = System.Windows.Forms.Application.StartupPath + "//Log//" + dt.AddSeconds(-30).Ticks + ".txt";

                if (File.Exists(path1))

                {

                    // File.Delete(path1);

                }

                //制作文件名

                string path3 = System.Windows.Forms.Application.StartupPath + "//Log";

                if (!Directory.Exists(path3))

                {

                    Directory.CreateDirectory(path3);

                }

                string path2 = System.Windows.Forms.Application.StartupPath + "//Log//" + dt.Ticks + ".txt";

                //保存文件

                //实例化一个文件流--->与写入文件相关联

                FileStream fs = new FileStream(path2, FileMode.Create);

                //实例化一个StreamWriter-->与fs相关联

                StreamWriter sw = new StreamWriter(fs);

                //开始写入

                for (int i = 0; i < count; i++)

                {

                    string dateTime = ds.Tables[0].Rows[i][0].ToString().Trim();

                    string sqllog = ds.Tables[0].Rows[i][1].ToString().Trim();

                    sw.WriteLine(dateTime + "," + sqllog);

                }

                //清空缓冲区

                sw.Flush();

                //关闭流

                sw.Close();

                fs.Close();

            }

            catch

            {

            }

 

 

        }

        #endregion

 

        private void 完全备份ToolStripMenuItem_Click(object sender, EventArgs e)

        {

            SqlConnection conn = new SqlConnection(@"Data Source=192.168.0.104/sql2005;database=bobuitest2;User Id=sa;Password=123456;");

            //  string path=Application.StartupPath+"//"+(DateTime.Now).ToLongTimeString()+".bak";

            DateTime dt = DateTime.Now;

            string path = Application.StartupPath + "//" + dt.Year + "_" + dt.Month + "_" + dt.Day + ".bak";

            if (File.Exists(path))

            {

                File.Delete(path);

            }

            //#region 产生一个随机的密码字符

            //int password;

            //Random random = new Random();

            //password = random.Next(1000, 9999);  

            //string bakup = @"Backup Database bobuitest2 To disk='" + path + "' with  password=" + password + "";

            //#endregion

 

            string bakup = @"Backup Database bobuitest2 To disk='" + path + "'";

            conn.Open();

            try

            {

                listMessage.Items.Add("开始备份");

                listMessage.Items.Add("正在备份...");

                SqlHelper.ExecuteNonQuery(conn, CommandType.Text, bakup);

                listMessage.Items.Add("备份成功！");

            }

            catch

            {

                listMessage.Items.Add("备份出错！");

            }

            finally

            {

                conn.Close();

            }

        }

 

        private void 差异备份ToolStripMenuItem_Click(object sender, EventArgs e)

        {

            SqlConnection conn = new SqlConnection(@"Data Source=192.168.0.104/sql2005;database=bobuitest2;User Id=sa;Password=123456;");

            //  string path=Application.StartupPath+"//"+(DateTime.Now).ToLongTimeString()+".bak";

            DateTime dt = DateTime.Now;

            string path = Application.StartupPath + "//diff" + dt.Year + "_" + dt.Month + "_" + dt.Day + ".bak";

            if (File.Exists(path))

            {

                File.Delete(path);

            }

            string bakup = @"Backup Database bobuitest2 To disk='" + path + "' with differential ";

            conn.Open();

            try

            {

                listMessage.Items.Add("开始备份");

                listMessage.Items.Add("正在进行差异备份...");

                SqlHelper.ExecuteNonQuery(conn, CommandType.Text, bakup);

                listMessage.Items.Add("备份成功！");

            }

            catch

            {

                listMessage.Items.Add("备份出错！");

            }

            finally

            {

                conn.Close();

            }

        }

这样就完成了基于触发器的数据库同步，不过这样存在很多问题。

问题1：在互联网模式下完全依靠sql的链接是行不通的，特别是数据量大的情况

问题2：在数据库上加触发器破坏了数据库的完整性

问题3：使用触发器，程序的可控性太差，发生错误很难检查。特别是当从数据库上执行错误时将导致主数据库也不能执行成功。

上面三个问题告诉我们这种方法行不通。我们必须寻找另外的方法。

 

 

bobui
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
sqlserver 2000数据库同步 同步两个SQLServer数据库的内容
09-11
SQLServer 2000数据库同步是一个复杂但重要的任务，特别是在多环境开发和部署中，以确保各个数据库的一致性。以下将详细解释如何实现两个SQLServer 2000数据库之间的同步。 首先，数据库同步的基本目标是保持两个或...
WinCC SQL SERVER 数据库实现数据库同步
07-11
实现两个Sqlserver之间的数据库同步 对实时性有较高要求，数据同步延时尽量在1S之内 可以全库、单表、多表的数据同步 2. 读写分离 数据同步之后程序上就可以通过分别使用不同的DbContext实现程序上的读写分离 3. ...
SQL Server数据库同步配置.docx
04-05
SQL Server数据库同步配置
LINQ to SQL数据库同步器
04-11
标题“LINQ to SQL数据库同步器”所涉及的核心技术是LINQ（Language Integrated Query，语言集成查询）和SQL，这是一种在.NET框架中，尤其是C# 3.0及更高版本中处理数据的强大工具。LINQ允许开发人员使用类似SQL的...
SqlServer数据库同步
10-11
【SqlServer数据库同步】是项目中常见的一种技术需求，特别是在数据分散在不同的服务器上，并需要跨网域调用的场景下。数据库同步能够确保数据的一致性和实时性，提高系统的稳定性和可靠性。 首先，进行SqlServer...
JavaFx+MySql学生管理系统
2301_81253185的博客
07-11 1092
上个月学习了javafx和mysql数据库,于是写了一个学生管理系统,因为上个月在复习并且有一些事情,比较忙,所以没有更新博客了,这个项目页面虽然看着有点简陋了,但是大致内容还是比较简单的,于是现在跟大家分享一下我的学生管理系统,希望对这方面有兴趣的同学提供一些帮助。
set user & password for database 设置数据库 用户和密码
DavidsonGong的博客
07-12 143
USE sbms;
7.10飞书一面面经
东篱君的博客
07-10 1185
B+树的⾮叶⼦节点不存放实际的记录数据，仅存放索引，所以数据量相同的情况下，相⽐存储即存索引⼜存记录的 B 树，B+树的⾮叶⼦节点可以存放更多的索引，因此 B+ 树可以⽐ B 树更「矮胖」，查询底层节点的磁盘 I/O次数会更少。主从复制：单节点Redis的并发能力是有上限的，要进一步提高Redis的并发能力，可以搭建主从集群，实现读写分离。B+ 树有⼤量的冗余节点（所有⾮叶⼦节点都是冗余索引），这些冗余索引让 B+ 树在插⼊、删除的效率都更⾼，⽐如删除根节点的时候，不会像 B 树那样会发⽣复杂的树的变化；
mysql笔记1
m0_62975692的博客
07-11 367
首先查看systemctl status mysqld，如果是关闭的可以进入的配置文件打开mysql，我的mysql配置文件就是在/usr/local/mysql/support-filess/下，在此目录下执行./mysql.server start,打开mysql服务，也可以通过systmectl start mysqld，如果你嫌麻烦的话可以systemctl enable mysqld 一直打开mysql的服务;重新给字段添加约束的时候不可以添加not null约束的！
Redis集群和高可用
xiaogengtongxu的博客
07-13 404
主从架构无法实现master和slave角色的自动切换，即当master出现redis服务异常、主机断电、磁盘损坏等问题导致master无法使用，而redis主从复制无法实现自动的故障转移(将slave 自动提升为新master)，需要手动修改环境配置,才能切换到slave redis服务器，另外当单台Redis服务器性能无法满足业务写入需求的时候,也无法横向扩展Redis服务的并行写入性能。master和slave角色的无缝切换，让业务无感知从而不影响业务使用。
Redis数据结构-String篇
时间如瑾 代码如诗
07-12 890
对⼀个内部表示成long型的string执行append, setbit, getrange这些命令，针对的仍然是string的值（即⼗进制表示的字符串），而不是针对内部表⽰的long型进⾏操作。因此，在这些命令的实现中，会把long型先转成字符串再进行相应的操作。String 的内部存储结构⼀般是 sds（Simple Dynamic String，可以动态扩展内存），但是如果⼀个String 类型的 value 的值是数字，那么 Redis 内部会把它转成 long 类型来存储，从⽽减少内存的使用。
MySQL空间索引
你的指尖有改变世界的力量
07-10 273
空间类型是建立在空间类型字段上的。
docker-compose安装PolarDB-PG数据库
wnfff的博客
07-12 286
docker-compose安装PolarDB-PG数据库
Linux系统的用户组管理和权限以及创建用户
最新发布
Johaden的博客
07-14 642
因此，我们可以根据每个用户的角色、职位和需求，为他们分配相应的权限，以确保服务器的安全性和有效管理。sudo（superuser do）是在类Unix操作系统中（包括Linux和macOS）常用的一个命令，它允许经过授权的用户以系统管理员（通常是root用户）的权限来运行程序或命令。2.在登陆Ubuntu时，会填写全名、用户名、密码等，所创建的这个用户就是默认用户，其中全名可以类似为一个昵称，用户名为主机名（较正式，不可随意更改）。超级用户可以执行系统上的所有命令，包括系统配置、文件访问和用户管理等。
配置Redis时yml的格式导致报错
weixin_63680330的博客
07-12 769
这个错误是由于在创建名为'redissonClient'的bean时出现了问题。具体原因是Redis连接异常，无法解析主机名'null'。请检查您的Redis配置，确保主机名和端口号正确。但是我明明已经配置了，一番排查后发现是缩进问题。
在项目中，如何使用springboot+vue+springsecurity+redis缓存+Axios+MySQL数据库+mybatis
huanghm88的专栏
07-11 685
在Spring Boot中，可以使用Spring Data JPA和MyBatis来配置MySQL数据库。在Vue项目中，可以创建一个config.js文件来配置后端的API地址，然后在需要发送请求的地方使用Axios发送请求。根据业务需求，在Spring Boot中编写相应的接口和服务层代码，包括数据访问、业务逻辑等。在Vue中，可以使用Axios发送HTTP请求，并将响应的数据展示在前端页面上。分别启动后端的Spring Boot应用和前端的Vue应用，访问前端页面，就可以看到与后端进行通信的效果。
秋招Java后端开发冲刺——MyBatisPlus总结
qq_50604294的博客
07-13 506
本文对MyBatisPlus进行了介绍，并对其特点、基本使用和扩展功能进行了总结概括。
在 PostgreSQL 里如何实现数据的分布式事务的性能监控和优化？
技术笔记
07-13 785
总之，在 PostgreSQL 中实现数据的分布式事务的性能监控和优化需要综合运用多种手段，结合实际的业务场景和系统状况，不断探索和改进，以确保系统的高效稳定运行。想象一下，如果在处理重要的业务流程时，分布式事务的性能不佳，可能会导致系统响应缓慢，用户体验差，甚至可能影响到业务的正常开展。我们通过优化事务逻辑，将多个相关的转账操作合并为一个事务，减少了事务的数量和锁的竞争，从而显著提高了性能。例如，如果我们发现某个分布式事务因为频繁的锁等待导致性能下降，我们可以检查事务中的操作是否可以优化，减少锁的竞争。
在centos7.9下静默安装Oracle19c详细流程
欢迎来到我的学习笔记薄
07-12 263
HOST修改成自己的主机名或IP。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值