elasticsearch5.2.2 插件开发（一）

最新推荐文章于 2024-06-20 15:16:37 发布
最新推荐文章于 2024-06-20 15:16:37 发布
阅读量6.3k 收藏 4
点赞数 1
分类专栏： java elastic 文章标签： elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/makefriend7/article/details/60323717
版权
本文详细介绍了Elasticsearch 5.2.2插件的分类和功能，包括API扩展、监控报警、分析、集群发现、数据处理、管理、数据类型增强、脚本支持、安全控制、存储管理和内容管理系统等方面，提供了多种插件示例，如X-Pack、SmartCN、LogStash、JDBC导入等。
摘要由CSDN通过智能技术生成

本文地址http://blog.csdn.net/makefriend7/article/details/60323717


首先放上官网地址https://www.elastic.co/guide/en/elasticsearch/plugins/5.2/index.html


一，插件介绍

插件，大家听名字就知道，就是在ES上插入一个东西，来增强ES的能力。

这里先简单介绍一下插件的分类

  • API extension plugin(ActionPlugin)： 就是扩展ES的API函数的。大部分是用来search和mapping, 比如 让ES支持SQL 语句
  • Alerting plugins： 监控索引，当超越阈值的时候，则自动触发报警（代表插件X-PACK，在你设置了某种查询条件之后，他会周期性的去调用，如果满足条件，则做指定要求做的事）
  • Analysis plugins：分析插件，简单说，就是制定建立索引规则的插件，比如SmartCN，就是一个中文分词插件，根据中文来建立索引（而不是英文的空格），以句，词发方式建立索引
  • Discovery plugins：发现插件，简单的说。就是集群如何发现属于自己的服务器。按照官方的说法，就是在一个cluster中，如何选举出一个主要的node.
  • The ingest plugins: 这个插件的主要功能就是增强每个节点的功能。比如Ingest Attcahment Processor Plugin 就可以让每个节点解压文件，处理诸如PPT ,XLD ,PDF的文件格式
  • Management plugins: 管理插件，当然是对ES进行交互和管理（比如X-PACK)
  • Mapper plugins: 这个插件主要就是增强ES的数据类型。比如增加一个attachment类型，里面可以放PDF或者WORD数据
  • Scripting plugins：这个插件本质来说，就是会调用用户的脚本，所以可以执行任何的程序，举例的话，可以通过这个插件，支持javascript语言，python语言，也可以是用户自定义的任何语言或者程序。
  • Security plugins：当然就是提供安全的控制，比如控制哪些用户可以使用ES的那些API
  • Repository plugins：提供快照和恢复，简单的理解，就是你把数据放在了服务器上，别人可以通过共享文件夹访问你的数据，也可以通过共享文件夹恢复你的数据。目前ES的核心插件已经支持S3,HDFS等很多访问方式。
  • Store plugins， 我们知道ES实际使用的是Lucene 来进行存储的。我们也可以采用Store SMB.(windows的共享文件协议）
二，额外的工具，这是用来帮助其他系统来使用ES的。

1. 内容管理系统

  • Drupal：Drupal是使用PHP语言编写的开源内容管理框架（CMF）
  • Wp-Elasticsearch: ES的 WordPress 插件 即WordPress可以直接使用ES
  • 还有Elasticsearch, Tiki Wiki Cms Groupware  XWIKI Next Generation Wiki
2. 数据导入导出和校验
  • LogStash output to ES 和ES input to LogStash
  • ES event filtering in Logstash
  • ES bulk codec
  • JDBC importer : 将jdbc的源数据导入到ES
  • Kafka Standalone consumer(Indexer) :将kafka数据导入ES
  • Mongolastic : 将ES数据导入MongoDB
  • Scrutineer: 索引和内容的校验工具
  • IMAP/POP3/MAIL importer : 将IMAP POP3 的数据导入到ES(邮箱数据也能进ES啦）
  • FS Crawler： 索引文件系统（如PDF ,OPEN OFFICE 。。。） 本地的，或者通过SSH
3. 部署
ES 提供Puppet   社区提供Chef

3. 框架整合

4.Hadoop integrations

4.其他整合
pes : 支持JS 的  DSL查询 https://github.com/kodcu/pes

二，第一个PLUGIN程序
插件程序是非常简单的。代码如下 

public class MyFirstPlugin extends Plugin{
    private final static Logger LOGGER = LogManager.getLogger(MyFirstPlugin.class);
    public MyFirstPlugin() {
        super();
        LOGGER.warn("This is my fisrt Plugin");
    }
}


补上pomx.ml 

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xmlns="http://maven.apache.org/POM/4.0.0"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>mygroup1</groupId>
    <artifactId>myart1</artifactId>
    <version>5.2.2-SNAPSHOT</version>
    <name>Plugin: Basic</name>
    <description>Only for test</description>


    <properties>
        <elasticsearch.version>5.2.2</elasticsearch.version>
        <lucene.version>6.4.1</lucene.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>${elasticsearch.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- Testing -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.7</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.7</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.test</groupId>
            <artifactId>framework</artifactId>
            <version>${elasticsearch.version}</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-test-framework</artifactId>
            <version>${lucene.version}</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <directory>src/main/resources</directory>
                <filtering>false</filtering>
                <excludes>
                    <exclude>*.properties</exclude>
                </excludes>
            </resource>
        </resources>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <appendAssemblyId>false</appendAssemblyId>
                    <outputDirectory>${project.build.directory}/releases/</outputDirectory>
                    <descriptors>
                        <descriptor>${basedir}/src/main/assemblies/plugin.xml</descriptor>
                    </descriptors>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>
运行命令 mvn clean install
在release目录下得到myart1-5.2.2-SNAPSHOT.zip文件
在ES目录运行 
bin\elasticsearch-plugin install file:///D:/greesoft/elastic/myart1-5.2.2-SNAPSHOT.zip
就安装插件完成了，

此处有个小坑。在windows下。java安装的目录一般会有空格。此处简单的 修改 elasticsearch-plugin.bat文件 如下

set JAVA=D:\jdk1.8.0_102\bin\java.exe  （我放的JAVA位置，省得处理空格了）


运行ES。就可以看到我们的打出的信息了。


补上pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xmlns="http://maven.apache.org/POM/4.0.0"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>mygroup1</groupId>
    <artifactId>myart1</artifactId>
    <version>5.2.2-SNAPSHOT</version>
    <name>Plugin: Basic</name>
    <description>Only for test</description>


    <properties>
        <elasticsearch.version>5.2.2</elasticsearch.version>
        <lucene.version>6.4.1</lucene.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>${elasticsearch.version}</version>
            <scope>provided</scope>
        </dependency>

        <!-- Testing -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.7</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.7</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch.test</groupId>
            <artifactId>framework</artifactId>
            <version>${elasticsearch.version}</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-test-framework</artifactId>
            <version>${lucene.version}</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <resources>
            <resource>
                <directory>src/main/resources</directory>
                <filtering>false</filtering>
                <excludes>
                    <exclude>*.properties</exclude>
                </excludes>
            </resource>
        </resources>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>2.6</version>
                <configuration>
                    <appendAssemblyId>false</appendAssemblyId>
                    <outputDirectory>${project.build.directory}/releases/</outputDirectory>
                    <descriptors>
                        <descriptor>${basedir}/src/main/assemblies/plugin.xml</descriptor>
                    </descriptors>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
</project>






MarsZhangLing
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
elasticsearch5.3.0插件开发
ailice001的博客
03-08 459
需求：根据规则计算数值的相似度平台: elasticsearch 5.x 版本 开发步骤：    新建一个maven项目    pom中添加es依赖&lt;dependencies&gt; &lt;dependency&gt; &lt;groupId&gt;org.elasticsearch&lt;/groupId&gt; &lt;artifactId&gt...
ElasticSearch es 插件开发
五只鸭子的专栏
09-16 8340
ElasticSearch es 插件开发 1. 插件分类 API Extension Plugins API扩展插件 通过添加新的API或功能向Elasticsearch添加新功能，通常与搜索或映射有关。 优秀插件代表： SQL language Plugin: 让 Elasticsearch 支持 SQL语句查询 (by NLPchina) Alerting Plugins 告警插...
Elasticsearch**Elasticsearch自定义插件开发入门
最新发布
Dxy1239310216的博客
06-20 721
本文将带你走进Elasticsearch自定义插件开发的世界，从入门到初步了解如何编写和部署自定义插件。虽然开发自定义插件可能需要一定的Java编程经验和Elasticsearch知识，但只要你掌握了基本的开发流程和注意事项，就可以为你的Elasticsearch集群添加更多的功能和灵活性。虽然开发自定义插件可能需要一定的Java编程经验和Elasticsearch知识，但只要你掌握了基本的开发流程和注意事项，就可以为你的Elasticsearch集群添加更多的功能和灵活性。此时，自定义插件就能派上用场。
Elasticsearch( 插件开发)
weixin_30633405的博客
11-13 74
elasticsearch5.2.2 插件开发（一） Scripting plugins：这个插件本质来说，就是会调用用户的脚本，所以可以执行任何的程序，举例的话，可以通过这个插件，支持javascript语言，python语言，也可以是用户自定义的任何语言或者程序。 Elasticsearch源码5(2.x插件开发)Elasticsearch源码5(2.x插件开发) ...
编写elasticsearch插件
测试
01-16 142
编写项目 之前写了一篇博客如何编写logstash-filter插件，这个插件装上之后对数据进行过滤和添加列方便统计；但是现在有一个新的需求，es里已经存有一年的数据了，装上logstash-filter插件之后需要把数据重新导入一遍，在不打乱原有结构的前提下分析统计数据。找了两天解决办法，最后找到了写一个elasticsearch插件来分析统计数据。 编写项目 ...
elasticsearch插件开发
云原生之家
07-22 6986
检索引擎Elasticsearch支持插件模式，有些时候你可能需要安装一些插件，甚至自己开发插件，这里就提供一个开始ES插件开发示例，ES版本为1.5.2。 一、插件类继承自org.elasticsearch.plugins.AbstractPlugin package org.elasticsearch.plugin.helloworld; import java.util.A
Elasticsearch5.2.2和Kibana5.2.2
05-08
**一、Elasticsearch 5.2.2** Elasticsearch 是一个基于 Lucene 的开源分布式搜索引擎，以其高可扩展性、实时搜索和分析能力而闻名。在 5.2.2 版本中，它提供了以下关键特性： 1. **分布式架构**：Elasticsearch ...
elasticsearch-head-5.2.2.zip
04-21
首先，"elasticsearch-head-5.2.2.zip"这个文件名表明我们获取的是Elasticsearch-Head的5.2.2版本，这是一个基于Grunt（JavaScript任务运行器）构建的项目。在Elasticsearch 5.x版本中，Head插件的使用能帮助我们更...
ElasticSearch技术文档V2.0.docx
12-13
Java API是与Elasticsearch进行交互的主要方式之一，适用于开发集成。以下是一些基本操作： 1. **索引创建**：使用`client.admin().indices().prepareCreate()`创建索引。 2. **文档插入**：通过`client....
ElasticSearch.zip
11-15
在本压缩包中，包含的是Elasticsearch与Header插件的整合，以及运行环境所需的Java开发工具包（JDK）和Node.js的安装包。 首先，让我们来详细了解一下**Elasticsearch-5.2.2**。这个版本是Elasticsearch的5.x系列，...
OPhone应用开发权威指南(黄晓庆)
03-08
5.1.3 一个简单的OpenGL ES程序 166 5.2 3D观察与变换 169 5.2.1 一个简单的例子：绘制立方体 169 5.2.2 理解变换 175 5.2.3 投影变换 177 5.2.4 视口变换 179 5.2.5 矩阵堆栈 180 5.3 绘制图元 180 5.3.1 图元种类 ...
elasticsearch插件开发教程
08-30
主要为大家详细介绍了elasticsearch插件开发教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
ElasticSearch 插件开发
weixin_30535843的博客
02-21 218
es有丰富的插件差不多 可以满平时开发的需求，但出现奇葩需求的时候又不能完全满足，所以就需要自定义开发插件了 目前es有以下几种插件可以去自定义 Analysis Plugins 分析插件 Discovery Plugins 发现插件 Ingest Plugins 提取插件 增强每个节点的功能。 Mapper Plugins 映射插件 主要用来扩展es数据类型 Scrip...
【es】ElasticSearch 插件开发
九师兄
04-23 374
1.概述 转载：https://www.cnblogs.com/wangnanhui/articles/10413066.html
Elasticsearch插件开发与调试
qq_33999844的博客
10-08 1308
背景： elasticsearch version ：6.8.5 插件开发类型：elasticsearch 变更数据记录 插件开发 略（完善后开源） 插件debug（远程debug） 1.准备发行版的ES（下载+解压） 2.将开发好的插件（zip包）放到ES的plugins目录下，并解压 3.配置新的policy文件，修改config/jvm.options（方法1）（一般物理机或者用于测试的情况使用） 该步骤非必须，由于开发的插件需要用到反射，所以需要放开一定的权限 PS.
elasticsearch教程--Plugins篇-插件
weixin_34198583的博客
10-25 919
2019独角兽企业重金招聘Python工程师标准>>> ...
elasticsearch 插件开发
04-25
要开发 Elasticsearch 插件，你需要了解 Elasticsearch 的插件体系结构、插件开发工具以及插件的开发流程。具体来说，你可以使用 Elasticsearch 提供的插件模板来创建插件，也可以选择使用 Maven、Gradle 等构建工具...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值