一、下载使用elasticsearch
1、下载elasticsearch软件包链接:
(1)通过官网进行下载:
(2)百度网盘下载:
链接:https://pan.baidu.com/s/1wxGWMSiRm4HzTeBwJoi5OA
提取码:hisr
2、解压elasticsearch压缩包后的目录结构,如下图所示。
3、进入bin 目录下,运行elasticsearch.bat
文件。
4、出现下述图片所示内容,则成功启动。
5、在本地浏览器,输入地址访问 http://127.0.0.1:9200,出现下述页面显示信息,则证明成功。
二、下载并使用kibana
1、下载kibana软件包链接:
(1)通过官网下载:
(2)上述百度网盘链接包含所有的软件包
2、解压kibana压缩包后的目录结构,如下图所示。
3、进入bin 目录下,运行kibana.bat
文件。
4、出现下述所示,则证明启动成功(启动成功的前提是elasticsearch需要启动)
5、访问上图中所示链接,选择console则可以进行操作
三、下载使用ik分词器
1、下载链接:https://github.com/medcl/elasticsearch-analysis-ik/releases选择需要的版本进行下载
2、解压之后,目录结构如下图所示
3、在elasticsearch目录下的plugins目录下新建一个文件夹ik
3、将elasticsearch-analysis-ik-7.6.0目录下的所有文件复制到ik目录下,如下图所示
4、在kibana中进行测试如下图所示
5、可以编辑main.dic
文件,添加自定义的词汇
四、下载使用logstash
1、通过官网进行下载:
2、解压后目录结构,如下图所示
3、通过logstash将mysql中的数据同步到elasticsearch中
(1)将mysql的驱动jar包导入到下图所示的目录下
(2)打开config文件夹,可以查看logstash-sample.conf
实例配置文件
(3)可以新建一个配置文件,logstast-mysql.conf
,编辑内容如下所示
input {
# 多张表的同步只需要设置多个jdbc的模块就行了
jdbc {
# mysql 数据库链接,shop为数据库名
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "123456"
# 驱动
jdbc_driver_library => "D:/elasticsearch/logstash-7.6.0/mysql-connector-java-8.0.12.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
#是否分页
#jdbc_paging_enabled => "true"
#jdbc_page_size => "50000"
#直接执行sql语句
statement =>"SELECT * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
# 执行的sql 文件路径+名称
# statement_filepath => "/hw/elasticsearch/logstash-6.2.4/bin/test.sql"
#设置监听间隔 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
# 索引类型
#type => "jdbc"
}
}
output {
elasticsearch {
#es的ip和端口
hosts => ["http://127.0.0.1:9200"]
#ES索引名称(自己定义的)
index => "blog"
#文档类型
#document_type => "log"
#设置数据的id为数据库中的字段
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}
(4)打开dos窗口,进入logstash的bin目录下,执行下述命令即可检查配置是否有误。
logstash -f ../config/logstash-mysql.conf -t
(5)在dos窗口下使用下述命令,即可成功启动配置文件,同步数据
logstash -f ../config/logstash-mysql.conf
(6)在kibana中进行查看
五、遇到的问题
1、配置文件内容错误,导致出现下述的问题
2、对于启动配置文件失败的时候,一定要查看日志文件,日志中会提示错误所在的位置。在log目录下的logstash-plain.log
可以查看输出的日志信息。