1.减少并发
2.使用连接池,较少创建销毁的开销
3.使用广播变量
4.分区操作,使用foreachpartition代替foreach,在foreachpartition内获取数据库连接。
foreach原理是 在每个分区中在iteritor遍历一条然后调用的func处理
foreachpartition原理是 在每个分区中把iteritor传入func中,由func控制这批迭代。
1.减少并发
2.使用连接池,较少创建销毁的开销
3.使用广播变量
4.分区操作,使用foreachpartition代替foreach,在foreachpartition内获取数据库连接。
foreach原理是 在每个分区中在iteritor遍历一条然后调用的func处理
foreachpartition原理是 在每个分区中把iteritor传入func中,由func控制这批迭代。