ELK 之 Logstash 安装以及 MovieLens数据集的导入

本文链接：https://blog.csdn.net/qq_41063182/article/details/108046771

环境

ElasticSearch 是用java写的，所以安装 ElasticSearch 之前需要先有java环境

jdk环境设置 $JAVA_HOME

下载地址

官网：https://www.elastic.co/cn/downloads/logstash
国内镜像：https://www.newbe.pro/Mirrors/Mirrors-Logstash/
官网的下载速度是跟乌龟爬的一样，最好还是使用国内的一个镜像，注意下载的时候要与ElasticSearch的版本匹配

MovieLens数据集

在安装 logstatsh 之前，我们需要先下载一个数据集来测试 logstatsh 的数据管道功能。
MovieLens数据集是一个包含多个用户对多部电影的评级数据，也包括电影元数据信息和用户属性信息。这个数据集经常用来做推荐系统，机器学习算法的测试数据集。

官网地址：https://grouplens.org/datasets/movielens/

下载那个只有 1M 大小的数据集便可以
在这里插入图片描述
moveilens的目录结构如上：

ratings.csv
文件里面的内容包含了每一个用户对于每一部电影的评分。数据格式如下：
userId, movieId, rating, timestamp
userId: 每个用户的id
movieId: 每部电影的id
rating: 用户评分，是5星制，按半颗星的规模递增(0.5 stars - 5 stars)
timestamp: 自1970年1月1日零点后到用户提交评价的时间的秒数
数据排序的顺序按照userId，movieId排列的。
movies.csv
文件里包含了一部电影的id和标题，以及该电影的类别。数据格式如下：
movieId, title, genres
movieId:每部电影的id
title:电影的标题
genres:电影的类别
links.csv
文件里包含了一些链接到电影来源的连接，数据格式如下：
movieId,imdbId,tmdbId

安装

在这里插入图片描述
官网是有详细的安装教程的，按照这个教程去走基本就可以启动成功

下载解压

[root@iZbp17kchfu5kwypzjeyqiZ logstash]# tar xvf logstash-7.3.2.tar.gz 
logstash-7.3.2/x-pack/src/test/java/org/logstash
logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack
logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack/test
logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack/test/RSpecIntegrationTests.java
logstash-7.3.2/x-pack/src/test/java/org/logstash/xpack/test/RSpecTests.java
logstash-7.3.2/LICENSE.txt
logstash-7.3.2/logstash-core/lib/logstash/build.rb