SODBASE CEP学习进阶篇（二）续：日志采集-Logstash、Kafka和CEP集成

1. 安装配置logstash

在官网https://www.elastic.co/downloads/logstash 下载2.0.0以上版本的logstash

如果下载rpm包，安装命令rpm -ivh logstash-2.*.*-1.noarch.rpm,*用实际版本号代替，logstash通常被安装到了/opt目录下了

如果下载zip或gz文件，则直接解压

新建一个配置文件

$ vi log.conf

input {

    file {
            path => "被监测日志的路径，可以带通配符*号，如/logs/mylog.log"
    }
}
filter {
 
}
output {
        kafka {
            bootstrap_servers  => "localhost:9092"
                topic_id => "test"
         }


}

保存log.conf

$ bin/logstash -f log.conf

2. 配置Kafka

参考《SODBASE CEP学习进阶篇（七）续：SODBASE CEP与Spark streaming集成-低延迟规则管理》1.2.1小节，在kafka中建立名称为test的topic

3. SODBASE CEP接收分析数据

下载kafkatest.sodata2 (对应的模型kafkatest.sod，可以放到Studio的files目录下，通过Studio来查看)，使用CEP Server Admin将此模型安装到CEP Server，并启动.(安装启动模型可参考《SODBASE CEP学习进阶篇（七）续：SODBASE CEP与Spark streaming集成-低延迟规则管理》1.2.2小节)

测试时可以往日志文件中写入一些数据

echo 'a new line' >> /logs/mylog.log

在这个模型中我们只做了屏幕打印输出

Fri Jun 03 16:37:16 CST 2016 T1 message: {"message":"a new line","@version":"1","@timestamp":"2016-06-03T08:37:14.060Z","path":"/logs/mylog.log","host":"localhost.localdomain","type":"logs"} Fri Jun 03 16:37:16 CST 2016

SODBASE CEP用于轻松、高效实施数据监测、监控类、实时交易类项目。EPL语法见SODSQL写法与示例。图形化建模请使用SODBASE Studio，参考Studio视频教程。嵌入式方式编程参见运行第一个EPL例子。缓存扩展参见与分布式缓存集成。

8月~10月，社区活动，使用SODBASE产品的程序员现在可 领礼品 啦