elasticsearch安装配置和logstash同步数据库

最新推荐文章于 2024-05-23 21:37:25 发布

Jia_sh

最新推荐文章于 2024-05-23 21:37:25 发布

阅读量380

点赞数

文章标签： elk elasticsearch

本文链接：https://blog.csdn.net/m0_48917648/article/details/119811559

版权

ELK即Elasticsearch、Logstash 和 Kibana三个数据搜索和处理软件的总称，我安装时遇到了一些问题，故在此记录安装过程。

本次安装在windows下完成。

首先在官网下载最新版本，我下载的是7.14.0版本，之后解压。

解压之后修改config目录下的elasticsearch.yml文件，需要添加以下几句话。

第一句话是为了防止在运行过程中出现 xpack的相关异常，后两句是为了解决elasticsearch-head访问es时的跨域问题。

jvm.options不需要修改，es会自动配置jvm的内存相关设置以适应电脑。

修改完elasticsearch.yml之后，在bin目录下的elasticsearch(没有扩展名的那个)中最上面添加一句话

export JAVA_HOME=F:\elasticsearch\elasticsearch-7.14.0\jdk
(即es自带的jdk路径)

在es7.x的版本中，jdk8不被支持，因此在下载es的中会自带一个jdk，但是如果你之前配置过JAVA_HOME环境变量，那么es会优先使用JAVA_HOME中配置的jdk版本，如果你自己配置的是jdk8，那么es运行时就会提示jdk版本错误。因此我们用这句话把es使用的jdk设置为其自带的。

至此es已经配置完成，正常运行bin目录下的elasticsearch.bat,之后访问9200端口检查是否运行成功即可。

可视化软件elasticsearch-head从github上拉下来对应的版本，然后按照github上的提示用npm安装运行即可，之后访问9100端口就可以访问。

Kibana没有需要配置的，直接在官网上下载好解压即用，运行bin目录下的Kibana.bat即可。

在官网上下载logstash，解压。我这里要直接将数据库设为其数据来源，并配置自动同步更新。
关于如何配置数据库同步可以看下面这篇文章。
https://juejin.cn/post/6844903877352013832#heading-0
但是文章中有几个问题。

文中提到的pipeline文件并不是那个pipeline.yml文件，yml文件的格式不是那样写的。需要在config目录下新建一个自己的配置文件myConfig.conf，将文章中的内容贴到自己的配置文件中即可。
连接数据库的url可能需要加charset和时区。
.conf文件所有涉及到的路径中最好不要出现中文。
document_id => "%{[%metedata][_id]}"这句话写错了，改成document_id => “%{[@metedata][_id]}”。

同时需要注意，mysql-connector-java-8.0.16.jar一定要放在logstash解压目录下的logstash-core\lib\jars目录下！路径也随之定位到该目录下，其他地方的jar包会导致报无权限异常。

启动时用命令行进行启动，需要将config文件作为参数传入，在bin目录下打开命令行，启动命令为

logstash -f ../config/myConfig.conf

启动需要一定时间，之后如果看到每五秒钟稳定的刷新一次，说明启动成功。
至此，logstash应该可以正常启动，并且将数据库的数据同步至es之中。

在下载ik分词器时需要主机下载release版本的压缩包，千万不要把源码的压缩包下载下来，不然启动es时会报错。

以上就是全部的过程~
因为不是边配置边记录的，可能会有遗漏，如果有不对的地方还请多多指教，有问题可以在评论区交流~

关注