ElasticSearch——2.X总结

最新推荐文章于 2023-10-08 16:32:31 发布

温水的小青蛙2023

最新推荐文章于 2023-10-08 16:32:31 发布

阅读量7.9k

点赞数 1

分类专栏： Elasticsearch 错题档案 ElasticSearch从0到1

本文链接：https://blog.csdn.net/Shiyaru1314/article/details/50617652

版权

Elasticsearch 同时被 3 个专栏收录

53 篇文章 1 订阅

订阅专栏

ElasticSearch从0到1

52 篇文章 25 订阅

订阅专栏

错题档案

20 篇文章 0 订阅

订阅专栏

1. ES2.X plugin

1、rivers

所有的rivers都在2.x版本总不再支持，所以mongoDB的数据同步无法再通过rivers进行同步。

https://www.elastic.co/blog/deprecating-rivers

根据官方的文档显示，解决的办法一是通过已有的各客户端软件（如elasticsearc-net）进行迁移。【当然这里肯定速度肯定会比较慢，可以考虑多线程分开写入多个节点以提高效率】。

二是通过logstash的已有river插件获取数据后ship到es中去。【logstash中现在没有mongoDB的river插件】

2、marvel

监控。

其中在es中安装的marvel-agent是es的客户端，在kibana安装的marvel是kibana专门从agent获取数据提供给kibana使用的数据监听器。

3、kibana

通过marvel监控传输的数据对数据进行可视化展示。

4、logstash

日志分析、数据传输。

5、sense

google商店里专门为es提供的可视化查询插件。

6、shield

收费的es安全与权限控制插件。

2. ES2.X Problem

1 . es以localhost可以访问，但是以本地ip却无法访问

百度各种有关ip访问localhost可以访问，或者connection refused的关键词。

1、刚开始以为是host设置的原因，找到了host，修改后无效。

2、网上有人说可能是防火墙的原因，本机访问本机管防火墙什么事？但是还是关了，但是无效。

而kibana是安装了的，无论是以localhost或者本机ip都是可以访问到kibana的，所以这绝不是什么系统设置的原因，应该还是es里的设置的问题。

通过这两天的分析查找终于找到了原因。

在官方网站上给出了明确的答复，es2.x升级了，默认是关闭了连接的。具体链接如下：

Elasticsearch 2.xwill only bind to localhost by default. It will try to bind to both 127.0.0.1(IPv4) and [::1] (IPv6), but will work happily in environments where only IPv4or IPv6 is available. This change prevents Elasticsearch from trying to connectto other nodes on your network unless you specifically tell it to do so. Whenmoving to production you should configure the network.host parameter,either in the elasticsearch.yml config file oron the command line:

https://www.elastic.co/guide/en/elasticsearch/reference/2.1/breaking_20_network_changes.html

2. 每次es启动的时候都会报下图这个警告

https://discuss.elastic.co/t/elasticsearch-2-1-network-settings/35633/2

通过上面的链接讨论的问题可知，这个警告信息可以忽略。

当然这个警告信息的作用主要是用来略过系统内核的一起启动项用来对es启动进行加速。

3.安装Marvel插件出错

https://www.elastic.co/guide/en/marvel/current/getting-started.html

查看安装命令

bin/plugin install license

bin/plugin install marvel-agent

下载kibana 安装包 ,注意不要放在Plugin下面，否则ES无法启动，总是报错无法找到文件

plugin-descriptor.properties

在安装包路径执行下面的命令，安装mavel

bin/kibanaplugin --installelasticsearch/marvel/latest

4.安装sense插件

Sense：A JSON aware developer's interface to Elasticsearch. Comes withhandy machinery such as syntax highlighting, API suggestions, formatting andcode folding.

2.x之后mavel中去除谷歌插件sense，现在sense成为kibana app。因此需要首先安装kibana，然后在安装sense，install Sense running the followingcommand from your Kibana folder:

命令如下： $ ./bin/kibana plugin --installelastic/sense

启动kibana：$./bin/kibana

访问地址：localhost:5601/app/sense

5．ES启动出错

[2016-01-25 13:33:05,483][WARN ][bootstrap ] unable to install syscallfilter: syscall filtering not supported for OS: 'Windows 7'

[2016-01-25 13:33:05,826][INFO ][node] [shi2.1.1_node-1]version[2.1.1], pid[10140], build[40e2c53/2015-12-15T13:05:55Z]

[2016-01-25 13:33:05,826][INFO ][node] [shi2.1.1_node-1]initializing ...

[2016-01-25 13:33:05,838][ERROR][bootstrap] Exception

java.lang.IllegalStateException: Unable to initializeplugins

at org.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:111)

atorg.elasticsearch.node.Node.<init>(Node.java:146)

atorg.elasticsearch.node.Node.<init>(Node.java:128)

atorg.elasticsearch.node.NodeBuilder.build(NodeBuilder.java:145)

atorg.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:178)

atorg.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:285)

atorg.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)

Caused by:java.nio.file.NoSuchFileException: F:\个人学习东西\ElasticsSearch\elasticsearch-2.1.1\elasticsearch-2.1.1\plugins\kibana-4.3.1-windows\plugin-descriptor.properties

atsun.nio.fs.WindowsException.translateToIOException(WindowsException.java:79)

atsun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:97)

atsun.nio.fs.WindowsException.rethrowAsIOException(WindowsException.java:102)

atsun.nio.fs.WindowsFileSystemProvider.newByteChannel(WindowsFileSystemProvider.java:230)

atjava.nio.file.Files.newByteChannel(Files.java:317)

atjava.nio.file.Files.newByteChannel(Files.java:363)

atjava.nio.file.spi.FileSystemProvider.newInputStream(FileSystemProvider.java:380)

atjava.nio.file.Files.newInputStream(Files.java:108)

atorg.elasticsearch.plugins.PluginInfo.readFromProperties(PluginInfo.java:86)

atorg.elasticsearch.plugins.PluginsService.getPluginBundles(PluginsService.java:302)

atorg.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:108)

... 6 more

网上查找资料的：

All plugins are now required to have a https://github.com/elastic/elasticsearch/blob/2.0/dev-tools/src/main/resources/plugin-metadata/plugin-descriptor.properties[plugin-descriptor.properties] file. If a node has a plugin installed which lacks this file, it will beunable to start.

于是在指定位置添加了[plugin-descriptor.properties]文件，但是还是有问题

[2016-01-25 14:05:37,990][WARN ][bootstrap ] unable to install syscallfilter: syscall filtering not supported for OS: 'Windows 7'

[2016-01-25 14:05:38,313][INFO ][node ] [shi2.1.1_node-1]version[2.1.1], pid[240], build[40e2c53/2015-12-15T13:05:55Z]

[2016-01-25 14:05:38,313][INFO ][node ] [shi2.1.1_node-1]initializing ...

[2016-01-25 14:05:38,325][ERROR][bootstrap ] Exception

java.lang.IllegalArgumentException:Plugin [kibana] is a site plugin but has no '_site/' directory

atorg.elasticsearch.plugins.PluginInfo.readFromProperties(PluginInfo.java:135)

atorg.elasticsearch.plugins.PluginsService.getPluginBundles(PluginsService.java:302)

atorg.elasticsearch.plugins.PluginsService.<init>(PluginsService.java:108)

atorg.elasticsearch.node.Node.<init>(Node.java:146)

atorg.elasticsearch.node.Node.<init>(Node.java:128)

atorg.elasticsearch.node.NodeBuilder.build(NodeBuilder.java:145)

atorg.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:178)

atorg.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:285)

atorg.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)

3.支持的浏览器类型

4.集群冲突

在局域网内，出现两个有相同集群名称的时候，有一个会出现冲突

查询访问出错

分词出错

5. 日志管理方案

Elasticsearch + Logstash + Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。

Logstash：负责日志的收集，处理和储存

Elasticsearch：负责日志检索和分析

Kibana：负责日志的可视化