spark streaming--可优化的点

1. 合理设置间隔时间，如果间隔时间过小，任务分发和提交带来的延迟副作用会变大
2. 合理使用persist,将数据备份到内存或磁盘
3. 控制batch size spark会将窗口间隔内的数据全部存入到内存，如果窗口过大，batch size过大，需要合理增加节点
4. 即使清理不再使用的数据，以确保spark有足够的内存空间。前面已说spark会将数据全部缓存到内存中，我们可以设置spark.cleaner.ttl来及时清理超时的无用数据。