ELK环境搭建(windows)

elasticsearch - logstash -kibana  开发环境搭建。 以下均基于 7.16.2版本。

一： elastic search 集群搭建

jvm.option修改内如如下：

-Xms2g
-Xmx2g

新建node-1、node-2,node-3三个目录，将es解压至node1,修改配置文件：

cluster.name: es-cluster

node.name: node-1

path.data: G:\elasticsearch8\elasticsearch\node-1\esdata

path.logs: G:\elasticsearch8\elasticsearch\node-1\eslog

network.host: 0.0.0.0

http.port: 9200
transport.tcp.port: 9300

discovery.seed_hosts: ["127.0.0.1:9300", "127.0.0.1:9301","127.0.0.1:9302"]

cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]

修改完成后，将node-1下的所有文件复制到node-2和node-3目录下，并修改配置文件中的

node.name，http.port,transport.tcp.port

启动各个节点。

二： kibana 搭建

修改es路径

elasticsearch.hosts: ["http://127.0.0.1:9200"]

启动kibana

三：logstash 搭建，附带简单同步

logstash.yml

path.data: G:\elasticsearch8\logstash\logstash-7.16.2\data

path.config: G:\elasticsearch8\logstash\logstash-7.16.2\piple-config

path.logs: G:\elasticsearch8\logstash\logstash-7.16.2\logs

xx.conf

input {
  jdbc {
    
    jdbc_driver_library => "G:\elasticsearch8\logstash\logstash-7.16.2\connect-lib\mysql-connector-java-8.0.15.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"    
    # 8.0以上版本：一定要把serverTimezone=UTC天加上
    jdbc_connection_string => "jdbc:mysql://192.168.1.21:3306/log_server?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
    connection_retry_attempts => 3
    jdbc_user => "root"
    jdbc_password => "123456"
    jdbc_validate_connection => "true"
    jdbc_validation_timeout => "60000"
    jdbc_paging_enabled => "true"
    jdbc_page_size => "10"
    schedule => "* * * * *"
    statement => "SELECT * FROM operation_log WHERE update_time >= :sql_last_value"
    use_column_value => true
    tracking_column_type => "timestamp"
    tracking_column => "update_time"
    last_run_metadata_path => "syncpoint_table"
  }
}
output {
    
        elasticsearch {
            # ES的IP地址及端口
            hosts => ["192.168.1.21:9200","192.168.1.21:9201","192.168.1.21:9202"]
            # 索引名称 可自定义
            index => "dy_operation_log"
            # 需要关联的数据库中有有一个id字段，对应类型中的id
            document_id => "%{id}"
            
        }
    
    
    stdout {
        # JSON格式输出
        codec => json_lines
    }
}

四：kibana 简单测试

1.查看集群信息

GET _cluster/health

GET _cat/health?v

2.好看导入的index中的数据

GET /dy_operation_log/_search