com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException:Data source rejected establishment of connection, message from server:"Too many connections"
今天在新搭建的HDP平台上提交Spark程序过程中,在Yarn后台查看了Job日志后报出的该问题,当时分析有以下几个方面的原因:
- 数据库驱动jar版本过低
- 数据库安装之后默认最大连接数太少
- Spark代码中配置的数据库连接池初始化连接数量过少
- Spark代码中获取的数据库连接使用完毕后未进行释放,导致连接资源不足
该报错出来之后首先分析了这几点原因,最开始就排除了第一个可能性,因为我们的数据库驱动版本是公司规定的()数据库版本是MySQL5.7,其他的Spark程序跑的都很稳定,没有理由在新搭建的HDP环境中Spark程序跑不起来,另外将该平台的Spark任务在老的HDP环境中运行是没有任何问题的,所以排除了3,4问题。那么最有可能的就是数据库安装之后的默认最大连接数了。
其实在搭建环境的过程中,安装MySQL数据库的时候确实没有注意到默认初始化最大连接数为多少,但是我们在Spark代码中配置的连接池的最小连接数量是30,最大连接数量为300 ;然后就登录到MySQL数据库后台查看当前配置的数据库最大连接数量 :
- 查看数据库当前连接数、ip、用户、连接数量、连接状态、连接时长
SHOW FULL processlist;
2. 查看数据库配置的最大连接数
show variables like '%max_connections%';
这里可以看出来,刚刚安装的数据库默认的最大连接数量为151个,如果一旦超出这个数量就会导致Spark任务报错,从而导致任务失败。
- 修改数据库最大连接数
在/etc/my.cnf配置文件中修改数据库的最大连接数
vi /etc/my.cnf
在mysqlId中添加以下配置
max_connections=3000
保存后重启mysql服务
systemctl restart mysqld
重新登录mysql后台查看当前的数据库最大连接数量
show variables like '%max_connections%';
可以看见数据修改为了3000,最后又提交了一此Spark任务,完美运行~~
最后:写这个博客是为了记录下在工作过程中遇到的一些问题,如果有遇到相同问题的小伙伴,也需要注意喽,同样也给自己敲了警钟,做事情一定要认真对待~