log4j WriterAppender 截取指定日志+ spark程序

最新推荐文章于 2023-06-06 16:19:41 发布

demon_gx

最新推荐文章于 2023-06-06 16:19:41 发布

阅读量1k

点赞数

分类专栏： log4j 文章标签： log4j

本文链接：https://blog.csdn.net/gongxuan92/article/details/44258651

版权

本文介绍了如何在Ubuntu12.04上使用Spark1.0.0，通过log4j配置WriterAppender来实时捕获并显示Spark任务执行过程中的特定日志，特别是'Starting task'和'Finished'事件，提取任务ID和运行时间。通过修改log4j.properties.template文件，设置特定的日志级别和输出格式，然后创建一个AppenderThread线程读取并处理这些日志。

摘要由CSDN通过智能技术生成

工具：ubuntu12.04 + spark1.0.0

目标：spark运行过程中会产生日志。希望让客户实时观察到任务执行的过程，就需要截取日志信息展现给客户。

eg：Starting task 17.0:0 as TID 28 on executor localhost: localhost (PROCESS_LOCAL)

Finished TID 28 in 28 ms on localhost (progress: 1/1)

需要截取以上两段日志信息，并截取任务ID号，和运行时间。

配置文件位置为：/usr/local/spark/spark-1.0.0-bin-hadoop1/conf/log4j.properties.template ，配置信息如下：

log4j.logger.org.apache.spark.scheduler.TaskSetManager = INFO,A5 （这里只截取org.apache.spark.scheduler.TaskSetManager类的日志，日志级别为INFO）
log4j.appender.A5=org.apache.log4j.WriterAppender (以流的方式输出)
log4j.appender.A5.Threshold=INFO
log4j.appender.A5.layout=org.apache.log4j.PatternLayout
log4j.appender.A5.layout.ConversionPattern=%m %n

代码如下，

import java.io.{IOException, PipedWriter, Writer, PipedReader}
import java.sql.{DriverManager, ResultSet}
import java.util.Scanner
import com.typesafe.config.{Config, ConfigFactory}
import org.apache.log4j._
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.mllib.recommendation.{ALS, Rating}
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkJob}

class CourseCF(rank:Int = 3,numIterations:Int= 10,lambda:Double=0.01)
{
/**
*
* 类描述：
* CourseCF 调用协同过滤算法
* @author gongxuan
* @note 2015-3-12 创建
* @version 1.0
*/