java 日志实时输出前端_Java 动手写爬虫: 四、日志埋点输出 & 动态配置支持

第四篇, 日志埋点输出 & 动态配置支持

前面基本上实现了一个非常简陋的爬虫框架模型，很多关键链路都没有日志，在分析问题时，就比较麻烦了，因此就有了这一篇博文

其次就是解决前几篇遗留的容易解决的问题

实际上，日志的输出应该贯穿在实际的开发过程中的，由于之前写得比较随意，直接System.out了, 所以现在就来填坑了

1.日志埋点设计

采用 logback 左右日志输出， 这里有一篇博文可供参考 《Logback 简明使用手册》

埋点的关键链路

当前爬取的任务信息

爬取任务的耗时

应用的状态(如爬取了多少个，还剩下多少个待爬取等)

爬取结果输出

其他一些信息

实现比较简单，在pom中添加依赖

org.slf4j

slf4j-api

1.7.21

ch.qos.logback

logback-classic

1.1.7

添加配置文件

logback-test.xml

%-4relative [%thread] %-5level %logger{35} - %msg %n

代码中埋点

…. (直接参考源码即可)

2. 爬取频率控制

很多网站会对访问的频率进行限制，这是一个最基础的防爬手段了，所以我们的爬取需要一个可以设置爬取任务的频率控制

1. 设计

目的

采用一个比较简单的方案，每次从队列中获取爬取任务时，sleep指定的时间，来实现爬取频率的限制

对此我们设计得稍微高级一点，这个sleep时间，我们希望是可以动态配置的

方案

采用配置项来解决这个，(为了后续的拓展，读取配置搞成面向接口的编程方式)，我们先提供一个基础的，根据本地配置文件来读取频率控制参数

实现

因为采用配置文件的方式，所以一个用于读取配置文件的辅助工具类是必须的

1. 配置文件读取 FileConfRead

@Slf4j

public class FileConfRead implements IConfRead {

public Config initConf(String path) {

try {

Properties properties = read(path);

Config config = new Config();

config.setSleep(properties.getProperty("sleep"), 0);

config.setEmptyQueueWaitTime(properties.getProperty("emptyQueueWaitTime"), 200);

return config;

} catch (Exception e) {

log.error("init config from file: {} error! e: {}", path, e);

return new Config();

}

}

private Properties read(String fileName) throws IOException {

try (InputStream inputStream = FileReadUtil.getStreamByFileName(fileName)) {

Properties pro = new Properties();

pro.load(inputStream);

return pro;

}

}

private File file;

private long lastTime;

public void registerCheckTask(final String path) {

try {

file = FileReadUtil.getFile(path);

lastTime = file.lastModified();

ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(1);

scheduledExecutorService.scheduleAtFixedRate(() -> {

if (file.lastModified() > lastTime) {

lastTime = file.lastModified();

ConfigWrapper.getInstance().post(new ConfigWrapper.UpdateConfEvent());

}

},

1,

1,

TimeUnit.MINUTES);

} catch (Exception e) {

throw new RuntimeException(e);

}

}

}

实现类主要继承接口 IConfRead, 接口中定义了两个方法，一个用于获取配置信息，一个用于注册配置信息的变动监听事件

public interface IConfRead {

/**

* 初始化配置信息

*

* @param var

* @return

*/

Config initConf(String var);

/**

* 注册配置信息更新检测任务

*

* @param path

*/

void registerCheckTask(final String path);

}

回到具体的实现，读取配置文件信息比较简单，直接使用jdk的Properties文件的读写方式，接下来则是注册监听事件的实现上，我们的设计思路如下:

获取配置文件的更新时间

每隔一段时间主动去查看下配置文件的更新时间，判断是否更新过

若更新，则重新加载配置文件，覆盖之前的

若无更新，直接放过

2. 配置类 Config

这里定义所有的配置信息，方便后续的维护和查阅

@Getter

@Setter

@ToString

public class Config {

/**

* 爬取任务的间隔时间

*/

private long sleep;

/**

* 从队列中获取任务，返回空时，等待时间之后再进行重试

*/

private long emptyQueueWaitTime;

public void setSleep(String str, long sleep) {

this.sleep = NumUtils.str2long(str, sleep);

}

public void setEmptyQueueWaitTime(String str, long emptyQueueWaitTime) {

this.emptyQueueWaitTime = NumUtils.str2long(str, emptyQueueWaitTime);

}

}

3. 配置信息获取封装类 ConfigWrapper

这里封装了获取配置信息的接口，内部维护配置信息的变更事件，我们采用EventBus来实现事件的监听

@Slf4j

public class ConfigWrapper {

private static final String CONFIG_PATH = "conf/crawler.properties";

private EventBus eventBus;

private IConfRead confRead;

private Config config;

private static volatile ConfigWrapper instance;

private ConfigWrapper() {

confRead = new FileConfRead();

confRead.registerCheckTask(CONFIG_PATH);

config = confRead.initConf(CONFIG_PATH);

// 注册监听器

eventBus = new EventBus();

eventBus.register(this);

}

public static ConfigWrapper getInstance() {

if (instance == null) {

synchronized (ConfigWrapper.class) {

if (instance == null) {

instance = new ConfigWrapper();

}

}

}

return instance;

}

@Subscribe

public void init(UpdateConfEvent event) {

config = confRead.initConf(event.conf);

if (log.isDebugEnabled()) {

log.debug("time:{} processor:{} update config! new config is: {}",

event.now, event.operator, config);

}

}

public Config getConfig() {

return config;

}

public void post(Object event) {

eventBus.post(event);

}

@Getter

@Setter

public static class UpdateConfEvent {

private long now = System.currentTimeMillis();

private String operator = "System";

private String conf = CONFIG_PATH;

}

}

3. 源码地址

日志埋点对应的tag: v0.006

动态配置对应的tag: v0.007

相关链接

欢迎关注我的微信公众号

作者：小灰灰Blog