HTTP连接池、线程池、数据库连接池、ThreadPoolExecutor

一、为什么要用Http连接池

1、降低延迟:如果不采用连接池,每次连接发起Http请求的时候都会重新建立TCP连接(经历3次握手),用完就会关闭连接(4次挥手),如果采用连接池则减少了这部分时间损耗,别小看这几次握手,本人经过测试发现,基本上3倍的时间延迟

2、支持更大的并发:如果不采用连接池,每次连接都会打开一个端口,在大并发的情况下系统的端口资源很快就会被用完,导致无法建立新的连接

一、 线程池的原理:     

线程池,究竟是怎么一回事?其实线程池的原理很简单,类似于操作系统中的缓冲区的概念,它的流程如下:

先启动若干数量的线程,并让这些线程都处于睡眠状态,当客户端有一个新请求时,就会唤醒线程池中的某一个睡眠线程,让它来处理客户端的这个请求,当处理完这个请求后,线程又处于睡眠状态。

可能你也许会问:为什么要搞得这么麻烦,如果每当客户端有新的请求时,我就创建一个新的线程不就完了?这也许是个不错的方法,因为它能使得你编写代码相对容易一些,但你却忽略了一个重要的问题——性能

就拿我所在的单位来说,我的单位是一个省级数据大集中的银行网络中心,高峰期每秒的客户端请求并发数超过100,如果为每个客户端请求创建一个新线程的话,那耗费的CPU时间和内存将是惊人的,如果采用一个拥有200个线程的线程池,那将会节约大量的的系统资源,使得更多的CPU时间和内存用来处理实际的商业应用,而不是频繁的线程创建与销毁。

 ThreadPoolExecutor

http://www.importnew.com/19011.html


二、 数据库连接池

数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出。

一个数据库连接对象均对应一个物理数据库连接,每次操作都打开一个物理连接,使用完都关闭连接,这样造成系统的性能低下。 数据库连接池的解决方案是在应用程序启动时建立足够的数据库连接,并将这些连接组成一个连接池(简单说:在一个“池”里放了好多半成品的数据库联接对象),由应用程序动态地对池中的连接进行申请、使用和释放。对于多于连接池中连接数的并发请求,应该在请求队列中排队等待。并且应用程序可以根据池中连接的使用率,动态增加或减少池中的连接数。 

连接池技术尽可能多地重用了消耗内存地资源,大大节省了内存,提高了服务器地服务效率,能够支持更多的客户服务。通过使用连接池,将大大提高程序运行效率,同时,我们可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。

1)  最小连接数是连接池一直保持的数据库连接,所以如果应用程序对数据库连接的使用量不大,将会有大量的数据库连接资源被浪费; 
2)  最大连接数是连接池能申请的最大连接数,如果数据库连接请求超过此数,后面的数据库连接请求将被加入到等待队列中,这会影响之后的数据库操作。


  • 0
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用PyODPS连接进行多线程查询ODPS需要注意以下事项: 1. 连接线程安全的,但是同一时刻只能有一个连接使用。因此,需要在多线程中正确地使用连接。 2. 如果要查询不同的表,建议每个线程使用一个连接,以避免出现连接竞争的情况。 3. 如果要查询同一个表,可以让多个线程共用一个连接,但需要注意每个查询的结果集不要互相干扰。 下面是一个简单的多线程查询ODPS的示例代码: ```python from concurrent.futures import ThreadPoolExecutor from odps import ODPS from odps.tunnel import TableTunnel from odps.tunnel.pool import TableTunnelPool # 创建ODPS连接 odps = ODPS('your_access_id', 'your_access_key', 'your_project_name', 'your_endpoint') def query_table(table_name): # 创建TableTunnel连接 pool = TableTunnelPool(odps) # 从连接中获取TableTunnel连接 tunnel = pool.get_tunnel() # 通过TableTunnel连接进行数据传输 with tunnel.execute_sql(f'SELECT * FROM {table_name} LIMIT 10').open_reader() as reader: for record in reader: print(f'Table {table_name}, record: {record}') # 创建线程池 executor = ThreadPoolExecutor(max_workers=5) # 提交任务到线程池 table_names = ['table1', 'table2', 'table3', 'table4', 'table5'] for table_name in table_names: executor.submit(query_table, table_name) ``` 以上代码中,首先创建了ODPS连接,然后创建了一个线程池,并提交了5个任务到线程池。每个任务都会使用一个独立的连接,并查询指定的表。在查询过程中,每个线程都会从连接中获取一个连接,并使用该连接进行数据查询。查询完成后,连接会自动回收到连接中,不需要手动关闭。 需要注意的是,以上示例中使用了线程池线程池的最大并发数由max_workers参数指定,默认值为当前机器的CPU核心数。如果需要修改线程池的配置,可以通过传递参数进行配置,例如: ```python executor = ThreadPoolExecutor(max_workers=10) ``` 以上代码中,将线程池的最大并发数设置为10。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值