spark程序在运行过程中,偶然有一天spark在读取mysql数据库的时候报错:
Out of resources when opening file ‘./xxx.MYD’ (Errcode: 24)
意思大概就是无法读取数据库文件了,该错误是因为打开的文件数超过了my.cnf的–open-files-limit。open-files-limit选项无法在mysql命令行 直接修改,必须在my.cnf中设定. 如果你要是不设置的话,他会取系统ulimit -n的值;
数据库中查看:show variables like ‘open%’;
修改open file的值,ulimit -n 204800.
或者
在/etc/profile的文末加上ulimit -u 204800 -HSn 204800.
执行 source /etc/profile,
最后重启一下数据库。# service mysql restart