多进程多线程访问数据库

如何让多进程多线程访问数据库,而不会选择相同的数据,这在设计分布式程序的时候经常用到,多台机器的多个进程,每个进程都有多个线程,每个线程要从数据库里取数据来处理,要实现不能漏取数据,也不能重复取数据,这里给出答案

创建一个数据表,如下,一个自增列,一个表示rss链接地址先放1w条数据再创建一个锁表,一个字段表示是否已经锁定的资源,另一个表示已经读取的rss源的最大id初始化数据下面我们要设计一个存储过程,让这个存储过程每次返回10个 rss源,知道返回所有的rss源,要求无遗漏,无重复返回。如下

1、如果锁表里显示没有进程正在读取rss源(IsLock = 0),那么就返回从最大的rss源id往后的10个rss源,否则返回空。

2、用with(READPAST)表示忽略锁住的行,如果另一个进程正在执行 update Rss_RssSourceLock的语句,并且在事务提交前,update语句会锁住这些要更新的行,而Rss_RssSourceLock表就一行数据,这时候select Rss_RssSourceLock表并且忽略被锁的行肯定是没数据的,所以本次存储过程执行会返回空。

3、begin tran和commit tran保证了即使本次存储过程出错,也不会让Rss_RssSourceLock表处于IsLock = 1的脏数据状态,如果处于这种状态,后面的进程执行存储过程就永远也返回不了数据了。

4、因为有时候一次选取的记录可能不够10条,所以这里用了个临时表来暂存记录,再算出来选取的条数,最后更新Rss_RssSourceLock表的MaxSourceId字段。但用临时表肯定会增加数据库的压力,这里不知道用表变量是不是会改善性能,暂时先这样了。

5、应用里调用这个存储过程,如果返回了数据,就进行处理,如果没返回数据,就sleep几秒才执行,直到返回数据。

CREATE TABLE [dbo].[Rss_RssSources](

[SourceId] [int] IDENTITY(1,1) NOT NULL,

[Link] [varchar](1024) NOT NULL

) ON [PRIMARY]

declare @i int

set @i = 1

while @i <10000

begin

select @i = @i +1

insert into [Rss_RssSources] values(newid())

end

create table Rss_RssSourceLock

(

IsLock bit,

MaxSourceId int

)

insert into Rss_RssSourceLock values (0,0)

CREATE PROCEDURE [dbo].[USP_GetRssSources]

AS

BEGIN

if exists(select * from Rss_RssSourceLock with(READPAST) where IsLock = 0)

begin

declare @select_count int

begin tran

update Rss_RssSourceLock set IsLock = 1

if object_id('tempdb..#t') is not null

drop table #t

select top 10 a.* into #t from [Rss_RssSources] as a

inner join Rss_RssSourceLock as b

on a.SourceId > b.MaxSourceId

order by a.[SourceId]

select @select_count = count(*) from #t

update Rss_RssSourceLock set IsLock = 0,MaxSourceId = MaxSourceId + @select_count

select * from #t

commit tran

end

END
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Django中,可以使用多线程多进程来读取MySQL数据库。具体实现可以通过以下几种方式: 1. 使用Django ORM的数据库连接池:Django ORM已经实现了连接池,可以通过以下方式来配置: ``` DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'mydatabase', 'USER': 'mydatabaseuser', 'PASSWORD': 'mypassword', 'HOST': '127.0.0.1', 'PORT': '3306', 'CONN_MAX_AGE': 60 * 60 * 2, # 设置连接池中连接的最大寿命 'OPTIONS': { 'init_command': "SET sql_mode='STRICT_TRANS_TABLES'", 'charset': 'utf8mb4', 'autocommit': True, 'max_connections': 20, # 设置连接池中最大连接数 }, }, } ``` 在上述配置中,我们设置了连接池中最大连接数为20,连接的最大寿命为2小时。这样,在多个线程或进程中对数据库访问都会被连接池处理,从而避免了连接过多的问题。 2. 使用第三方连接池:除了Django ORM自带的连接池,还可以使用第三方的连接池,比如`DBUtils`、`SQLAlchemy`等。这些连接池都提供了更加灵活的配置选项和更多的功能,可以根据实际情况选择使用。 3. 使用多进程多线程:除了使用连接池外,还可以使用多进程多线程来读取MySQL数据库。在多进程多线程中,可以使用`multiprocessing`或`threading`模块来创建进程或线程,然后在每个进程或线程中创建MySQL连接,并进行对应的操作。需要注意的是,在使用多进程多线程时,需要考虑到线程或进程之间的数据共享和同步问题,避免出现数据竞争等问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值