java多线程读取日志文件_java 多线程 实时监控日志文件并实时读取新数据

日萌社

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新)

文章参考：https://www.jb51.net/article/116526.htm

java ScheduledExecutorService 多线程与定时任务的结合使用

读取文件、写出文件 请使用 字符缓冲流、字节缓冲流

File output = new File("/home/root/logs/output.log");

File readin = new File("/home/root/logs/readin.log");

BufferedReader br = new BufferedReader(new FileReader(readin),16384);

BufferedWriter bw = new BufferedWriter(new FileWriter(output),16384);

​​​​​​​String tmp = br.readLine();

bw.write(tmp + "\n");

bw.flush();

br.close();

bw.close();

测试证据

RandomAccessFile 底层使用的 StringBuffer 读取 342498 行数据 耗时206秒

BufferedReader 缓冲区 包装 FileReader 读取 342498 行数据 耗时15秒

结论

不应简单使用 RandomAccessFile 读取流、Writer 输出流

应使用 字符缓冲输入流 BufferedReader、字符缓冲输出流 BufferedWriter

===============日志信息实时生产类=================

(下面示例代码请自己修改为使用字符缓冲输出流 BufferedWriter)

package com.nginxlog;

import java.io.File;

import java.io.FileWriter;

import java.io.IOException;

import java.io.Writer;

import java.text.SimpleDateFormat;

import java.util.Date;

import java.util.concurrent.Executors;

import java.util.concurrent.ScheduledExecutorService;

import java.util.concurrent.TimeUnit;

// =============== 日志产生类 ====================

/*

执行LogSvr类,LogSvr类会启动一个线程,每5秒钟向mock.log日志文件写一次数据，

然后再执行LogView类,LogView每隔1秒钟读一次,如果数据有变化则输出变化的部分.

*/

public class LogSvr

{

private SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

/**

将信息记录到日志文件

@param logFile 日志文件

@param mesInfo 信息

@throws IOException

*/

public void logMsg(File logFile, String mesInfo) throws IOException

{

if (logFile == null)

{

throw new IllegalStateException("logFile can not be null!");

}

Writer txtWriter = new FileWriter(logFile, true);

txtWriter.write(dateFormat.format(new Date()) + "\t" + mesInfo + "\n");

txtWriter.flush();

}

public static void main(String[] args) throws Exception

{

final LogSvr logSvr = new LogSvr();

final File tmpLogFile = new File("mock.log");

if (!tmpLogFile.exists())

{

tmpLogFile.createNewFile();

}

//启动一个线程每5秒钟向日志文件写一次数据

ScheduledExecutorService exec = Executors.newScheduledThreadPool(1);

exec.scheduleWithFixedDelay(new Runnable()

{

public void run()

{

try

{

logSvr.logMsg(tmpLogFile, "xxxxxxxxxxxxx");

}

catch (IOException e)

{

throw new RuntimeException(e);

}

}

}, 0, 5, TimeUnit.SECONDS);

}

}

===============日志信息实时监控读取类=================

(下面示例代码请自己修改为使用字符缓冲输入流 BufferedReader)

package com.nginxlog;

import java.io.File;

import java.io.IOException;

import java.io.RandomAccessFile;

import java.util.concurrent.Executors;

import java.util.concurrent.ScheduledExecutorService;

import java.util.concurrent.TimeUnit;

public class LogView {

private long lastTimeFileSize = 0; //上次文件大小

/**

* 实时输出日志信息

* @param logFile 日志文件

* @throws IOException

*/

public void realtimeShowLog(File logFile) throws IOException

{

/*

window 跑 main方法：

读取和写出文件的路径都是默认项目根目录中的文件，那么只需要定义出文件名而无需写出具体路径，

即可使用 new File("文件名") 读取和写出项目根目录中的文件。

window、linux 跑 tomcat：

读取和写出文件的路径 需要写出 具体的文件和及其绝对路径，即 new File("/绝对路径/文件名");

*/

//指定文件可读可写

final RandomAccessFile randomFile = new RandomAccessFile(logFile,"rw");

//启动一个线程每1秒钟读取新增的日志信息

ScheduledExecutorService exec = Executors.newScheduledThreadPool(1);

exec.scheduleWithFixedDelay(new Runnable(){

public void run() {

try {

//将文件记录指针定位到pos位置，一开始从0的位置开始读取

randomFile.seek(lastTimeFileSize);

String tmp = "";

while( (tmp = randomFile.readLine())!= null) {

System.out.println(new String(tmp.getBytes("ISO8859-1")));

}

lastTimeFileSize = randomFile.length();

} catch (IOException e) {

throw new RuntimeException(e);

}

}

}, 0, 1, TimeUnit.SECONDS);

}

public static void main(String[] args) throws Exception {

LogView view = new LogView();

final File tmpLogFile = new File("mock.log");

view.realtimeShowLog(tmpLogFile);

}

}