多线程操作数据库

最新推荐文章于 2024-04-09 11:15:19 发布
最新推荐文章于 2024-04-09 11:15:19 发布
阅读量3.5k 收藏 1
点赞数
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanglx_/article/details/20051517
版权

1.      多线程最好不要共用一个连接

以下是来自MSDN的一段话http://msdn.microsoft.com/zh-cn/library/ms131686.aspx

“SQL Server 2005 在访问数据库引擎的应用程序中引入了对多个活动结果集 (MARS) 的支持。 在 SQL Server 的早期版本中，数据库应用程序无法在单个连接上保持多个活动语句。 使用 SQL Server 默认结果集时，应用程序必须先处理或取消从某一批处理生成的所有结果集，然后才能对该连接执行任何其他批处理。 SQL Server 2005 引入了新的连接属性，该属性允许应用程序在每个连接上使用多个待定请求，具体而言，每个连接可以具有多个活动的默认结果集。”

经过在SQL2000下的测试发现，无论是ADO基于ODBC连接、ADO基于OLEDB直接连接还是ADO基于OLEDB（OLEDB基于ODBC）连接测试都会出现问题，报错为“[Microsoft][ODBC SQL Server Driver]连接占线导致另一个 hstmt”，只是错误出现的时间不一定，我想这与CPU对线程的调度有关，如果两个线程在调度时并没有真正的对数据库同时操作，这样是不会出问题的，需要长时间测试；这也就验证了MSDN上的这段话，不过SQL2005及以上的版本没有测试，不过在SQL2005及以上版本中多个活动结果集默认是不启用的，需要在连接字符串中写明启用才行，具体参考MSDN。不管怎样在开发最好不要多个线程共用一个数据库连接，这样会很容易出问题，最好是一个线程一个连接。

2.      什么时候需要线程同步或存储过程加锁

在下面有个例子是对数据库insert、update、select同时操作，测试结果证明不需要加锁或者线程同步，因为这里三个线程对数据库的操作都简单的原子操作，数据库在执行一个线程的数据库操作时如果加了锁(见注释)，另外也要操作的线程可能就要等待，等待上个操纵完成再进行操纵，数据库自己就有锁管理机制，只会出现线程等待，也就是类似队列操作。但是如果有比较复杂的事务操作的话就需要加锁了，如果不加的话就会出现你说的脏读、死锁等问题，同时在进行事务操作时也可加超时限制，超过多长时间没有返回就认为操作失败，退出操作，这样可以在发生死锁时解除死锁，防止死等待。

注：SQLSERVER中锁有粒度和模式之分，粒度有行锁、页锁、表锁、数据库锁等，而且数据库内部有自动的锁管理器，一般情况下不需要我们手动设置，在锁的个数比较多时，锁会自动升级以节省系统资源。锁的模式可分为共享锁(一般查询操作数据库自己加)、更新锁、排他锁等，一般造成死锁都是在事务操作同时请求对方持有的被锁定的资源时陷入互相等待的原因。具体关于锁的介绍及机制，请查资料。

例子:

三个线程，每个线程起一个连接，分别更新、插入、查询

OnInitDialog添加：

m_hEvent = CreateEvent(NULL,TRUE,FALSE,_T("ThreadControl"));

然后: 

//打开数据库
BOOL CTestThreadDlg::DatabaseConnect(_ConnectionPtr &pConnection)
{
	CString strSQL;
	HRESULT hr;
	AfxOleInit();//注意每个线程都要初始化
	try
	{
		hr=pConnection.CreateInstance(__uuidof(Connection));
		//OLEDB-ODBC
		//strSQL="Provider=MSDASQL;driver={SQL Server};SERVER=192.168.1.105;UID=sa;PWD=;DATABASE=TestDB;";
		//OLEDB
		//strSQL="Provider=SQLOLEDB.1;Data Source=192.168.1.105;Initial Catalog=TestDB;User ID=sa;PWD=;";
		//ODBC
		strSQL="driver={SQL Server};SERVER=192.168.1.105;UID=sa;PWD=;DATABASE=TestDB;";
		if(SUCCEEDED(hr))
		{ 
			hr=pConnection->Open(_bstr_t(strSQL),"","",adModeUnknown);
		} 
	}	
	catch(_com_error &e)    
	{
		ComError("连接数据库\n",e);
		AfxMessageBox("连接失败");
		return FALSE;     
	}
	return TRUE;
}
//线程一：更新线程
UINT CTestThreadDlg::Thread1(LPVOID lpParam)
{
	CTestThreadDlg *pCurDlg = (CTestThreadDlg *)lpParam;
	if (!pCurDlg->DatabaseConnect(pCurDlg->pConnectionPtr1))
		return 0;
	while (WaitForSingleObject(pCurDlg->m_hEvent,0)!=WAIT_OBJECT_0)
	{
		try
		{
			UINT t1=GetTickCount();
			CString strSql = "update Table_1 set age=1 where name='0000000000'";
			COleVariant vtOptional((long)DISP_E_PARAMNOTFOUND,VT_ERROR);
			_ConnectionPtr pConnectionPtr = pCurDlg->pConnectionPtr1;
			pConnectionPtr->Execute(_bstr_t(strSql),vtOptional,-1);
			pCurDlg->m_iCount1++;
			UINT t2=GetTickCount();
			CString sText;
			sText.Format("线程一用时：%d\n",t2-t1);
			OutputDebugString(sText);
		}
		catch (_com_error &e)
		{
			pCurDlg->ComError("线程一",e);
		}
	}
	pCurDlg->pConnectionPtr1->Close();  
	pCurDlg->pConnectionPtr1.Release();
	return 0;
}
//线程二：插入线程
UINT CTestThreadDlg::Thread2(LPVOID lpParam)
{
	CTestThreadDlg *pCurDlg = (CTestThreadDlg *)lpParam;
	if (!pCurDlg->DatabaseConnect(pCurDlg->pConnectionPtr2))
		return 0;
	while (WaitForSingleObject(pCurDlg->m_hEvent,0)!=WAIT_OBJECT_0)
	{
		try
		{	
			UINT t1=GetTickCount();
			CString strSql = "insert into Table_1 values('0000000000',0)";
			COleVariant vtOptional((long)DISP_E_PARAMNOTFOUND,VT_ERROR);
			_ConnectionPtr pConnection = pCurDlg->pConnectionPtr2;
			pConnection->Execute(_bstr_t(strSql),vtOptional,-1);
			pCurDlg->m_iCount2++;
			UINT t2=GetTickCount();
			CString sText;
			sText.Format("线程二用时：%d\n",t2-t1);
			OutputDebugString(sText);
		}
		catch (_com_error &e)
		{
			pCurDlg->ComError("线程二",e);
		}
	}
	return 0;
}

//线程三：查询线程
UINT CTestThreadDlg::Thread3(LPVOID lpParam)
{
	CTestThreadDlg *pCurDlg = (CTestThreadDlg *)lpParam;
	if (!pCurDlg->DatabaseConnect(pCurDlg->pConnectionPtr3))
		return 0;
	while (WaitForSingleObject(pCurDlg->m_hEvent,0)!=WAIT_OBJECT_0)
	{
		try
		{
			UINT t1=GetTickCount();
			_CommandPtr pCommandPtr;
			pCommandPtr.CreateInstance("ADODB.Command");
			pCommandPtr->ActiveConnection = pCurDlg->pConnectionPtr3;
			pCommandPtr->CommandText ="select * from Table_1";
			_RecordsetPtr pRecordsetPtr = pCommandPtr->Execute(NULL,NULL,adCmdText);
			_variant_t vName = pRecordsetPtr->GetCollect((_variant_t)(long)0);
			CString sName = (LPCTSTR)_bstr_t(vName);
			pCommandPtr.Release();
			pRecordsetPtr->Close();
			pRecordsetPtr.Release();
			pCurDlg->m_iCount3++;
			UINT t2=GetTickCount();
			CString sText;
			sText.Format("线程三用时：%d\n",t2-t1);
			OutputDebugString(sText);
		}
		catch (_com_error &e)
		{
			pCurDlg->ComError("线程三",e);
		}
	}
	pCurDlg->pConnectionPtr2->Close();  
	pCurDlg->pConnectionPtr2.Release();
	return 0;
}
//点击开始
void CTestThreadDlg::OnButton2() 
{
	// TODO: Add your control notification handler code here
	ResetEvent(m_hEvent);
	m_iCount1=m_iCount2=m_iCount3=0;
	AfxBeginThread((AFX_THREADPROC)Thread1, reinterpret_cast<LPVOID>(this));
	AfxBeginThread((AFX_THREADPROC)Thread2, reinterpret_cast<LPVOID>(this));
	AfxBeginThread((AFX_THREADPROC)Thread3, reinterpret_cast<LPVOID>(this));
}
//点击停止
void CTestThreadDlg::OnButton3() 
{
	// TODO: Add your control notification handler code here
	SetEvent(m_hEvent);
	CString sText;
	sText.Format("线程一更新%d\r\n线程二插入%d\r\n线程三查询%d\r\n",m_iCount1,m_iCount2,m_iCount3);
	AfxMessageBox(sText);
}
void CTestThreadDlg::ComError(CString sThread,_com_error e)
{
	CString ErrorStr;
	_bstr_t bstrSource(e.Source());
	_bstr_t bstrDescription(e.Description());
	ErrorStr.Format( "%sError Code = %08lx  Code meaning = %s  Source = %s  Description = %s\n",
		sThread,e.Error(), e.ErrorMessage(), (LPCSTR)bstrSource, (LPCSTR)bstrDescription );
	OutputDebugString(ErrorStr);
}

有关讨论见论坛：http://bbs.csdn.net/topics/390714634?page=1#post-396828233

wanglx2012
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
多线程访问数据库
不落航班
05-23 3753
android.database.sqlite.SQLiteDatabaseLockedException: database is locked (code 5)上面的问题，是因为每次创建SQLiteOpenHelper对象时，实际上也是在新建一个数据库连接。如果通过多个连接同时对数据库进行写数据操作，则一定会失败。为确保多线程能安全地操作数据库，则需要保证只有一个数据库连接被占用。 java
多线程之查询数据库
qq_32446743的博客
06-04 2942
import pymysql import csv import os import threading import time db_config = { 'host':host, 'port':port, 'user':'root', 'password':password, ...
利用线程池优化大批量数据库操作
最新发布
qq_57756904的博客
04-09 572
多线程对数据库进行操作时，并非线程数越多操作越快。
多线程连接数据库问题
chengguotao的专栏
11-17 8229
今天突然想到一个问题，就是多线程情况下访问操作数据库中的并发问题。 数据库中的一个连接对应一个数据库的事务，一般有两种访问方案： 1，通过一个线程对应一个连接，不过中方式感觉太奢侈了，所有一般用连接池，限制总的连接数，但当访问线程较多的情况下，连接要不断的切换，性能上会有影响的。 2，一个连接限制一定数量的访问线程，虽然数据库中有事务并发访问安全机制，但这是正对多事务的，我们这里使用多线程共
支持多线程的数据库连接池(Linux C/C++ mysql)
Think88666的博客
08-03 1591
前言： 网上关于Linux C/C++的连接池相关项目很少，即便是有也难以满足我的需求，比如： 1、无法支持阻塞形式（线程休眠等待空闲连接）获取空闲连接， 2、网上流传的基于mysql++开发的连接池，还需要引入boost等三方库，稍显繁琐，不利于中小型项目的开发。 基于以上原因，本人自己写了这个连接池，有问题下方留言，大家共同进步！ 本连接池的特点： 1、支持多线程； 2、从连接池获取空闲连接时支持阻塞（直到获取到空闲连接）和非阻塞（没有空闲连接直接返回）两种形式； 3、托管了mysq
linux c mysql 多线程_linux下多线程连接mysql（C语言）
weixin_34406909的博客
01-21 248
int main(){mysql_library_init(0,NULL,NULL);pthread_t producer;pthread_t consumer_1;pthread_t consumer_2;//produce_fun不涉及数据库链接，不贴出来pthread_create(&producer,NULL,produce_fun,NULL);pthread_create(&am...
Python基于多线程操作数据库相关问题分析
09-20
总结起来，Python多线程操作数据库时，应合理使用数据库连接池以管理连接，避免超时和丢失问题，同时注意线程间的同步与控制，以确保程序的稳定性和数据一致性。通过这些实践技巧，我们可以构建出更高效、可靠的多...
java 多线程操作数据库
10-19
一个java 多线程操作数据库应用程序!!!
MulThreadSQLiteTest多线程操作数据库
11-21
多线程操作数据库，可解决已加密或者比较复杂的数据库查询时间比较长的问题
java多线程处理数据库数据
09-21
java多线程处理数据库数据，使用并发包,无框架，可批量处数据库数据，进行增删改。。等等操作。
多线程连接数据库
木下瞳的博客
04-09 5092
目录 多线程 update MySQL 多线程 update MySQL 数据库里面有一批数据，使用 python 串行更新代码如下： from sqlalchemy import create_engine import time import pandas as pd start = time.time() # 连接 con = create_engine('mysql+pymysql://root:123456@localhost:3306/activity_analysic?ch
【数据库连接，线程，ThreadLocal三者之间的关系】
tigerhhzz的博客
04-01 856
不是的，==这时ThreadLocal就派上用场了，在第一次数据持久化操作做完之后，将这个数据库连接暂存在ThreadLocal中，在之后的数据库切换中需要用到时再拿出来用。如果池中没有空闲连接，线程将等待另一个线程将连接对象返回到池中。ThreadLocal的作用是提供线程内的局部变量，这种变量在线程的生命周期内起作用，减少同一个线程内多个函数或者组件之间一些公共变量的传递的复杂度。举个例子，一个线程的生命周期要做这么几件事情：参数校验，业务逻辑1，数据持久化，业务逻辑2，数据库切换，业务逻辑3。
多线程读取数据库
wisdom_get233的博客
08-29 2187
方法一（第一天的小测试） 连接数据库 package com.xinyuan.ms.service; import java.sql.*; import java.util.*; public class ThreadToMysql extends Thread { Integer cid; Integer num; // Integer page; public ThreadToMysql(Integer cid,Integer num){ this.c
QT QSqlError Unable to execute statement [Microsoft][ODBC SQL Server Driver]连接占线导致另一个 hstmt
zxc134zxc的博客
05-14 4515
QSqlError("0", "QODBC3: Unable to execute statement", "[Microsoft][ODBC SQL Server Driver]连接占线导致另一个 hstmt") "[Microsoft][ODBC SQL Server Driver]连接占线导致另一个 hstmt QODBC3: Unable to execute statement" 问题原因: 数据库还未执行完毕,但是你的程序又执行了下一条数据库语句. 经排查发现是 QSqlQuery 执行sql
[Microsoft][ODBC SQL Server Driver]l连接占线导致另一个hstmt
ksrsoft的专栏
06-26 6580
不要隨隨便便 在 SELECT、UPDATA、INSERT 、DELETE 的execsql; OPEN、ACTIVE：=TRUE 前 加Prepare;特别是这几个组合，要少加。 这第五点这个方法能减少90%出现的机率。原因是DELPHI运行太快了导致了你数据 库前一个PREPARE没有释放时又产生一个，SQL Server ODBC driver 只允许一 个活动的hstmt,记住这个
使用odbc驱动sql server出现问题：连接占线导致另一个hstmt。跟connection对象有关
weixin_44365415的博客
12-25 1997
Connection con; Statement sql,sql1; //以下的url与问题无关 con=DriverManager.getConnection(url); sql=con.createStatement(); sql1=con.createStatement(); 以上是我的核心问题代码 主要问题是因为一个对象con被两个statement对象同时调用。 解决方法： 再添加一个...
python多线程操作数据库
07-20
在Python中，可以使用多线程来进行数据库操作。下面是一个使用多线程进行数据库操作的简单示例，假设你正在使用SQLite数据库和`sqlite3`模块： ```python import sqlite3 from threading import Thread # 创建数据库连接 conn = sqlite3.connect('your_database.db') # 定义一个线程函数来执行数据库查询操作 def query_data(thread_name): # 创建游标对象 cursor = conn.cursor() # 执行查询语句 cursor.execute("SELECT * FROM your_table") # 获取查询结果 results = cursor.fetchall() # 打印结果 for row in results: print(row) # 关闭游标 cursor.close() # 创建多个线程来执行数据库查询操作 threads = [] for i in range(5): thread = Thread(target=query_data, args=(f"Thread-{i+1}",)) threads.append(thread) # 启动所有线程 for thread in threads: thread.start() # 等待所有线程执行完毕 for thread in threads: thread.join() # 关闭数据库连接 conn.close() ``` 这个示例创建了5个线程来执行数据库查询操作。每个线程都会创建一个游标对象，执行查询语句并打印结果。在主线程中，通过调用`start()`方法启动所有线程，并使用`join()`方法等待所有线程执行完毕。最后，关闭数据库连接。 请注意，多个线程同时对同一个数据库进行写操作可能会引发并发冲突和数据不一致的问题。因此，在进行写操作时，需要使用适当的同步机制（如锁）来确保数据的一致性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值