1. 安装配置logstash
在官网https://www.elastic.co/downloads/logstash 下载2.0.0以上版本的logstash
如果下载rpm包,安装命令rpm -ivh logstash-2.*.*-1.noarch.rpm,*用实际版本号代替,logstash通常被安装到了/opt目录下了
如果下载zip或gz文件,则直接解压
新建一个配置文件
$ vi log.conf
input {
file {
path => "被监测日志的路径,可以带通配符*号,如/logs/mylog.log"
}
}
filter {
}
output {
kafka {
bootstrap_servers => "localhost:9092"
topic_id => "test"
}
}
保存log.conf
$ bin/logstash -f log.conf
2. 配置Kafka
参考《SODBASE CEP学习进阶篇(七)续:SODBASE CEP与Spark streaming集成-低延迟规则管理》1.2.1小节,在kafka中建立名称为test的topic
3. SODBASE CEP接收分析数据
下载kafkatest.sodata2 (对应的模型kafkatest.sod,可以放到Studio的files目录下,通过Studio来查看),使用CEP Server Admin将此模型安装到CEP Server,并启动.(安装启动模型可参考《SODBASE CEP学习进阶篇(七)续:SODBASE CEP与Spark streaming集成-低延迟规则管理》1.2.2小节)
测试时可以往日志文件中写入一些数据
echo 'a new line' >> /logs/mylog.log
在这个模型中我们只做了屏幕打印输出
Fri Jun 03 16:37:16 CST 2016 T1 message: {"message":"a new line","@version":"1","@timestamp":"2016-06-03T08:37:14.060Z","path":"/logs/mylog.log","host":"localhost.localdomain","type":"logs"} Fri Jun 03 16:37:16 CST 2016
SODBASE CEP用于轻松、高效实施数据监测、监控类、实时交易类项目。EPL语法见SODSQL写法与示例。图形化建模请使用SODBASE Studio,参考Studio视频教程。嵌入式方式编程参见运行第一个EPL例子。缓存扩展参见与分布式缓存集成。
8月~10月,社区活动,使用SODBASE产品的程序员现在可 领礼品 啦