风雨诗轩的博客

在《elasticsearch技术解析与实战》第370页第10章ELK应用，书中以收集Nginx日志为例来说明；我这里用的版本分别是elasticsearch-2.3.0、logstash-2.3.0、kibana-4.5.0；和书中的版本不同，在373页我按照书上的例子取一条典型的nxlog日志，保存文件名为nxlog_access.log,编写配置文件，文件名为logstash_nxlog.c

数据库里面有一张表，字段如“学生id”被定义为student_id，“班级名”被定义为class_name等，而在项目中实体类属性一般都是驼峰命名法，如上两个属性在Java实体类中被定为studentId、className；假如你用logstash-input-jdbc将mysql数据同步到elasticsearch后，如果你的sql没有对字段起别名，那么elasticsearch中存储的字段就

生产环境的虚拟机不能联网；虽然logstash是开箱即用，即解压后就能使用，但是对于logstash-input-jdbc插件来说，一般是在线安装的（./logstash-plugin  install  logstash-input-jdbc），就算你是在github上https://github.com/logstash-plugins/logstash-input-jdbc/下载源码，修改G

使用logstash-input-jdbc插件同步mysql数据到elasticsearch，系统会使用一个默认的动态映射模板，模板名字为logstash。在启动logstash过程中你会看到如下信息Using mapping template from {:path=>nil}Attempting to install template{:manage_template=>{"templ

我的logstash是从kafka中读取数据，取出来的数据格式为"zhangsan_1_25_student_15064573848"；一个人的姓名_性别_年龄_职业_时间戳，我的需求是将每个字段分别存到elasticsearch中，所以首先需要对取出来的字符串拆分，以便模板能映射各个字段filter{ mutate{ split => ["message","_"]

logstash版本为5.5.3，kafka版本为2.11，此版本默认内置了kafka插件，可直接配置使用，不需要重新安装插件；注意logstash5.x版本前后配置不太一样，注意甄别，必要时可去elasticsearch官网查看最新版配置参数的变化，例如logstash5.x版本以前kafka插件配置的是zookeeper地址，5.x以后配置的是kafka实例地址。input{

logstash版本为5.5.3，elasticsearch版本有两个，分别为2.3.0和5.5.3；其中elasticsearch-2.3.0运行在windows机器上，elasticsearch-5.5.3运行在linux机器上。logstash运行在windows机器上。本文所探讨的由logstash输出到elasticsearch所导致的中文乱码问题，其根本原因是操作系统编码不一样的问题。