这两天测试Standlone模式下Spark streaming SPARK_WORKER_DIR目录的磁盘老是爆,
下面三个日志rolling参数记得设置:
spark.executor.logs.rolling.strategy size
spark.executor.logs.rolling.maxSize 134217728 #default byte
spark.executor.logs.rolling.maxRetainedFiles
这两天测试Standlone模式下Spark streaming SPARK_WORKER_DIR目录的磁盘老是爆,
下面三个日志rolling参数记得设置:
spark.executor.logs.rolling.strategy size
spark.executor.logs.rolling.maxSize 134217728 #default byte
spark.executor.logs.rolling.maxRetainedFiles