19.Spark大型电商项目-用户访问session分析-数据库连接池原理

目录

普通的数据库链接

数据库连接池

---

本篇文章主要介绍数据库连接池原理。

普通的数据库链接

每一次java程序要在MySQL中执行一条SQL语句，那么就必须建立一个Connection对象，代表了与MySQL数据库的连接。然后在通过连接发送了你要执行的SQL语句之后，就会调用Connection.close()来关闭和销毁与数据库的连接。为什么要立即关闭呢？因为数据库的连接是一种很重的资源，代表了网络连接、IO等资源。所以如果不使用的话，就需要尽早关闭，以避免资源浪费。 

劣势/不足：如果要频繁地操作MySQL的话，那么就势必会频繁地创建Connection对象，底层建立起与MySQL的占用了网络资源、IO资源的连接。此外呢，每次使用完Connection对象之后，都必须将Connection连接给关闭，又涉及到频繁的网络资源、IO资源的关闭和释放。如上所述，如果频繁的开关Connection连接，那么会造成大量的对网络、IO资源的申请和释放的无谓的时间的耗费对于特别频繁的数据库操作，比如100次/s，那么可能会导致性能急剧下降。

数据库连接池

数据库连接池，会自己在内部持有一定数量的数据库连接，比如通常可能是100~1000个左右。然后每次java程序要通过数据库连接往MySQL发送SQL语句的时候，都会从数据库连接池中获取一个连接，然后通过它发送SQL语句。SQL语句执行完之后，不会调用Connection.close()，而是将连接还回数据库连接池里面去。下一次，java程序再需要操作数据库的时候，就还是重复以上步骤，获取连接、发送SQL、还回连接。 

 

 在我们的spark作业中，通常来说，都需要使用数据库连接池。当然，可以使用开源的数据库连接池，功能非常强大，比如C3P0、DBCP等等。但是呢，对于某些简单的情况下，我们也可以自己编写一个简单的数据库连接池即可。

而且在spark作业中，是非常适合使用数据库连接池的，为什么呢？因此spark计算出来的结果，可能数据量还是会比较大的。比如说10万条。那么如果用普通的数据库操作方式，就必须创建和销毁数据库连接10万次，那么会大大降低整个spark作业的性能。数据库的操作变成整个spark作业的瓶颈。如果可以善用数据库连接池的话，那么就大大节省数据库连接的创建和销毁的时间和性能开销。大大提升我们的spark作业的整体性能。