Logstash安装及数据导入

本文详细介绍了如何安装Logstash 7.1.0,包括从官方和华为镜像站下载,以及安装前的JDK环境准备。同时,还讲述了如何导入MovieLens数据集,配置logstash.conf文件,并启动Logstash进行数据导入。最后,通过Kibana验证数据已成功导入Elasticsearch。
摘要由CSDN通过智能技术生成

一、安装前准备

1)下载与ES相同版本号的logstash,(7.1.0),并解压到相应目录
官网下载地址:https://www.elastic.co/cn/downloads/logstash
华为过年镜像地址:https://mirrors.huaweicloud.com/logstash/7.1.0/

2)下载最MovieLens最小测试数据集
地址:https://grouplens.org/datasets/movielens/
对应文件:Small: 100,000 ratings and 3,600 tag applications applied to 9,000 movies by 600 users. Last updated 9/2018.

3)运行环境需要提前安装jdk
4)启动Kibana、Elasticsearch
启动安装说明前面章节已经描述
启动Kibana: https://blog.csdn.net/qq_36918149/article/details/104224625
启动Elasticsearch :https://blog.csdn.net/qq_36918149/article/details/104221934

二、配置

1)在Logstash目录下创建配置文件目录
在这里插入图片描述
2)将MovieLens下载的测试数据拷贝到movielens_dome_data目录
在这里插入图片描述
3)创建配置文件logstash.conf
在这里插入图片描述
配置文件内容

input {
   
  file {
   
    # 这是在加载demo数据,请改为你本地数据路径,注意路径用的是‘/’而非‘\’
  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是使用Logstash从MySQL导入数据到Elasticsearch的步骤: 1. 安装Logstash: ```shell sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch sudo yum install logstash ``` 2. 安装Logstash插件: ```shell cd /usr/share/logstash/bin/ sudo ./logstash-plugin install logstash-input-jdbc sudo ./logstash-plugin install logstash-output-elasticsearch ``` 3. 将MySQL的Java连接器复制到Logstash的目录: ```shell scp mysql-connector-java-8.0.13.tar.gz python@10.211.55.7:~/ tar -zxvf mysql-connector-java-8.0.13.tar.gz ``` 4. 创建Logstash配置文件,例如`mysql_to_elasticsearch.conf`,并将以下内容添加到文件中: ```shell input { jdbc { jdbc_driver_library => "/path/to/mysql-connector-java-8.0.13.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "jdbc:mysql://localhost:3306/database_name" jdbc_user => "username" jdbc_password => "password" statement => "SELECT * FROM table_name" } } output { elasticsearch { hosts => ["localhost:9200"] index => "index_name" document_type => "document_type" } } ``` 请注意,你需要将`/path/to/mysql-connector-java-8.0.13.jar`替换为实际的MySQL连接器的路径,`localhost:3306`替换为实际的MySQL主机和端口,`database_name`替换为实际的数据库名称,`username`和`password`替换为实际的数据库用户名和密码,`table_name`替换为实际的表名,`index_name`替换为要创建的Elasticsearch索引名称,`document_type`替换为要创建的文档类型。 5. 启动Logstash并指定配置文件: ```shell sudo ./logstash -f mysql_to_elasticsearch.conf ``` Logstash将会从MySQL中查询数据,并将其导入到Elasticsearch中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值