elasticsearch入门系列4----logstash安装

最新推荐文章于 2020-09-04 22:36:59 发布

西城xml

最新推荐文章于 2020-09-04 22:36:59 发布

阅读量164

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/xichengqc/article/details/91346378

版权

大数据专栏收录该内容

15 篇文章 1 订阅

订阅专栏

相关安装文件位置：
链接：https://pan.baidu.com/s/1md2w6GJiXzsUKzBXJmJNBA
提取码：1dj7
logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是dao层，Elasticsearch是一个service层，kibana是controller层。
logstash和mysql也安装在同一台虚拟机即可，虚拟机内存需要调大一点，这里我调成4G

上传logstash安装包，解压并启动

[root@localhost bin]# ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

这行命令的意思就是收集控制台打印内容，并且转化成固定格式的字符串
在控制台输出在。控制台输入helloword，可以看到以下信息输出，证明启动成功

[2019-06-09T01:03:10,707][INFO ][logstash.agent           ] Successfully started Logstash AP
I endpoint {:port=>9600}hello
{
      "@version" => "1",
          "host" => "localhost.localdomain",
    "@timestamp" => 2019-06-08T17:03:18.289Z,
       "message" => "hello"
}

上传logstash-input-jdbc-4.2.4.tar.gz，解压后移动到logstash下的plugins目录，如果没有该目录需要手动创建，一定要删除压缩包

[root@localhost plugins]# pwd
/home/software/logstash-5.6.0/plugins

上传mysql驱动，jdbc配置文件和sql文件到/home/software/logstash-config，编辑配置文件
mysql安装参考：https://blog.csdn.net/xichengqc/article/details/88055891
启动Mysql，创建jtdb数据库；启动elasticsearch。往mysql中导入数据

[root@localhost bin]# service mysql start
[root@localhost bin]# mysql -uroot -p123456

mysql> set names utf8;
mysql> create database jtdb;
mysql> use jtdb;
mysql> source /home/software/logstash-config/jt_v2.sql;

启动logstash，数据会依据jdbc.sql中的逻辑导入es

[root@localhost bin]# sh logstash -f /home/software/logstash-config/jdbc.conf

启动kibana，创建索引patter为jtdb*，然后进入discover可以看到数据展示