Spark项目实战-实际项目中常见的优化点-使用foreachPartition优化写数据库性能

首先，我们看一下foreach的写原理：

1、foreach的性能缺陷在哪里？

（1）首先对于每条数据都要单独去调用一次function，task为每个数据都要去执行一次function函数。 如果100万条数据（一个partition），调用100万次，性能比较差。

（2）另外一个非常非常重要的一点，如果每个数据你都去创建一个数据库连接的话，那么你就得创建100万次数据库连接。我们都知道数据库连接的创建和销毁，都是非常非常消耗性能的。虽然我们可以用数据库连接池，只是创建了固定数量的数据库连接。但还是得多次通过数据库连接，往数据库（MySQL）发送一条SQL语句，然后MySQL需要去执行这条SQL语句。如果有100万条数据，那么就是100万次发送SQL语句。

基于以上两点（数据库连接，多次发送SQL语句），都是非常消耗性能的。 那么foreachPartition的写原理是怎样的呢？我们往下看：

2、用了foreachPartition算子

（1）对于我们写的function函数，就调用一次，一次传入一个partition所有的数据。

（2）创建或者获取一个数据库连接就可以。

（3）只要向数据库发送一次SQL语句和多组参数即可。

3、foreachPartition的缺点

在实际生产环境中基本上都是使用foreachPartition操作，但是有个问题，跟mapPartitions操作一样，如果一个partition的数量真的特别特别大，比如真的是100万，那基本上就不太靠谱了。 一下子进来，很有可能会发生OOM内存溢出的问题。