ElasticSearch学习（二）安装logstash，head插件，测试输入数据

前文中elasticsearch与kibana已经安装好，这次先将logstash弄好。

10月11号下的版本都是7.9.2的，结果后来再下logstash的时候版本就变成7.9.3了，不过问题不大。。。

我把logstash也安装在了Windows下，ELK除了beat的环境都配在了Windows下，我怕虚拟机带不起来。。。事实上本机电脑也不能同时运行elasticsearch，logstash与kibana，之前依次启动时，启动到kibana时报了连接超时的错误，这个地方大家也可以注意一下。

• 下载logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.9.3.zip

解压后进入config目录下，修改logstash.yml文件。

http.host: 192.168.1.100
http.host: "192.168.1.100"

ip修改为自己的ip就可以。

修改yml文件时要注意标点符号为英文，冒号后面是有一个空格的，如果修改不当启动时会报错。

这里logstash就配置好了。

• 安装head插件

为什么现在说呢，因为我前面忘了。。

问题不大。

head插件是将elasticsearch界面化了，使用起来会方便一些。

head插件基于node.js，所以先安装一下node.js。

https://cdn.npm.taobao.org/dist/node/v14.14.0/node-v14.14.0-x64.msi

一直点下一步啥的就可以了。

安装完成后cmd进入node.js安装的目录，依次运行下面的命令。

npm install ‐g cnpm ‐‐registry=https://registry.npm.taobao.org
npm install -g grunt-cli
cnpm install

下载head插件

https://codeload.github.com/mobz/elasticsearch-head/zip/master

解压后进入目录，运行启动命令

npm run start
或者是
grunt server

显示下面内容就是成功了

Running "connect:server" (connect) task
Waiting forever...
Started connect web server on 什么什么什么。。

然后就可以进入http://localhost:9100对elasticsearch进行观察了。

到此，环境就算是配置好了。

• 测试数据流

logstash接受很多种方式的输入，这里使用syslog与http测试一下，输出到elasticsearch。

• 向logstash中以syslog形式输入数据

在logstash的bin目录下创建syslog.conf文件

在文件中输入

input{
    syslog{
        type => "system-syslog"
        port => 514
    }
}
output{
    stdout{

    }
    elasticsearch{
        hosts => ["http://192.168.1.100:9200"]
        index =>  "test"
    }
}

input为输入方式，type是向输入处理的所有事件添加一个字段，主要用于过滤器激活，具体的使用方式还需要再探索。

port为监听的端口。

output为输出方式，stdout为标准输出，会将流入的数据输出至命令行，下面是输出到elasticsearch，这里也可以看出来logstash可以以多种方式同时进行输入，输入也是可以的只不过没有在这里写出来。hosts为elasticsearch的地址，index是索引，用于在elasticsearch中进行查询。

保存后logstash（数据接收端）就算是配置好了。

之后是需要以syslog的形式向logstash发送数据

在Ubuntu中有rsyslog，所以在这里就直接配置文件。

sudo vi /etc/rsyslog.conf

加入或修改

*.* @@192.168.1.100:514

ip就是logstash的ip，端口号是刚才在配置文件时input中写的。

保存后重启rsyslog服务

service rsyslog restart

现在数据端就配置好了

启动logstash

使用cmd进入到bin目录下，运行

logstash -f syslog.conf

观察终端是否有数据输出，若有则成功。

进入http://192.168.1.100:9100，若有配置文件中的index索引名，则成功。

• 在logstash中，以http的形式输入数据

在logstash的bin目录下创建配置文件http.conf，这里创建文件的位置哪里都可以，运行时加上路径就行，我这里是为了方便。

input{
    http{
        host => "192.168.1.100"
        port => 8080
        ssl => false
    }
}

output{
    stdout{
    }
    elasticsearch{
        hosts => ["http://102.168.1.100:9200"]
        index => "test"
    }
}

input形式为http，里面加入ip与端口号，下面的output与上面syslog差不多，这里input如果不配置的话，默认传入的文件格式是json。

在虚拟机端向logstash传入数据

我随便找了个文件传

nc 192.168.1.100 8080 < Top.txt

传输过去后logstash端有输出，并且elasticsearch中有test索引，传输成功。