elasticsearch 6.3.2 支持jdbc连接es 破解版

最新推荐文章于 2024-08-09 07:07:27 发布
置顶 最新推荐文章于 2024-08-09 07:07:27 发布
阅读量2.8k 收藏 2
点赞数
分类专栏： 常见问题 文章标签： Ëlasticsearch破解  Ĵjdbc Ĵdbc连接es Ëe白金会员
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_duoLong/article/details/82182596
版权
  1. 进去elasticsearch安装目录 找到x-pack-core-6.3.2.jar

cd /data/server/es/elasticsearch-6.3.2/modules/x-pack/x-pack-core

  1. 解压jar包，然后找到下面的两个class文件，使用luyten反编译

org/elasticsearch/xpack/core/XPackBuild.class

org/elasticsearch/license/LicenseVerifier.class

LicenseVerifier 中有两个静态方法，这就是验证授权文件是否有效的方法，我们把它修改为全部返回true.

XPackBuild 中 返回两个变量用来判断jar包是否被修改 如下写死即可

 

  1. 将修改后的java类上传到服务器

进入上传java类的目录下执行以下命令

cp /data/server/es/elasticsearch-6.3.2/modules/x-pack/x-pack-core/x-pack-core-6.3.2.jar .

jar -xvf x-pack-core-6.3.2.jar

rm x-pack-core-6.3.2.jar

javac -cp "/data/server/elasticsearch-6.3.2/modules/x-pack/x-pack-core/x-pack-core-6.3.2.jar" LicenseVerifier.java

javac -cp "/data/server/elasticsearch-6.3.2/lib/elasticsearch-core-6.3.2.jar" XPackBuild.java

mv XPackBuild.class xpack/org/elasticsearch/xpack/core/

mv LicenseVerifier.class xpack/org/elasticsearch/license/

jar -cvf x-pack-core-6.3.2.jar ./*

cp x-pack-core-6.3.2.jar /data/server/es/elasticsearch-6.3.2/modules/x-pack/x-pack-core/

7.更新license: 
   去官网申请免费license，会发邮件给你进行下载; 
   将下载的文件重命名为license.json，并做如下修改：

"type":"platinum"   #白金版

"expiry_date_in_millis":2524579200999   #截止日期 2050

  1. 通过kibana导入license文件即可

  1. 或者在服务器上通过curl 上传

Curl -XPUT http://10.3.4.128:9200/_xpack/license?acknowledge=true -H "Content-Type: application/json" -d @license.json

  1. 查看license 是否生效

curl -XGET 'http://10.3.4.128:9200/_license'

注意： 
elasticsearch 6.3.2 中默认开启了安全验证，我们暂时修改配置文件以方便导入自己的文件 
在elasticsearch.yml 中 添加一下配置

xpack.security.enabled: false

启动es 启动kibana

搞定~

  1. 下面是一个案例测试jdbc连接es
  2. import cn.missfresh.Tools.TimeTools;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;

    import java.net.URI;
    import java.sql.*;
    import java.util.Properties;

    /**
     * Created by Irving on 2018/8/21.
     */
    public class JDBCReadEs {

            private static String driver = "org.elasticsearch.xpack.sql.jdbc.jdbc.JdbcDriver";

            public static void main(String[] args) throws Exception {
                if (args.length != 3) {
                System.    out.println("请传入正确参数");
                System.    out.println("参数0:sql语句");
                System.    out.println("参数1:0为写入hdfs路径、1为打印到控制台");
                System.    out.println("参数2:hdfs路径");
                System.exit(-    1);
            }
            System.setProperty(    "HADOOP_USER_NAME", "hadoop");
            System.    out.println("程序开始时间：" + TimeTools.getCurrentTime());
            Long t1 = System.currentTimeMillis();

            String address =     "jdbc:es://10.3.4.128:9200";
            Properties connectionProperties =     new Properties();
            Connection connection =     null;

                try {
                Class.forName(    driver).newInstance();
                connection = DriverManager.getConnection(address, connectionProperties);
            }     catch (Exception e) {
                e.printStackTrace();
            }

            Statement statement = connection.createStatement();
            String sql = args[    0];
            ResultSet rs = statement.executeQuery(sql);
            ResultSetMetaData metaData = rs.getMetaData();
                int columnCount = metaData.getColumnCount();
            System.    out.println("获取列数:" + columnCount);

                // 为0表示写入hdfs操作、为1表示打印到控制台操作
            if (args[1].equals("0")) {
                FileSystem fs = getFileSystem();
                System.    out.println("客户端工具获取完成，正在写入，请稍后...");
                FSDataOutputStream outputStream = fs.create(    new Path(args[2]));
                String tohdfs =     "";
                    while (rs.next()) {
                        for (int i = 1; i <= columnCount; i++) {
                            if (i == 1) {
                            tohdfs = rs.getString(i);
                        }     else {
                            tohdfs = tohdfs +     "\t" + rs.getString(i);
                        }
                    }
                    outputStream.write((tohdfs +     "\n").getBytes("UTF-8"));
                }
                System.    out.println("写入完成.");
                outputStream.close();
                fs.close();
            }     else if (args[1].equals("1")) {
                    while (rs.next()) {
                        for (int i = 1; i <= columnCount; i++) {
                            if (i == (columnCount)) {
                            System.    out.println(rs.getString(i));
                        }     else {
                            System.    out.print(rs.getString(i) + "\t");
                        }
                    }
                }
            }     else {
                System.    out.println("请输入正确输出路径");
                System.exit(-    1);
            }
                //关闭资源
            rs.close();
            statement.close();
            connection.close();
            System.    out.println("程序结束时间：" + TimeTools.getCurrentTime());
            Long t2 = System.currentTimeMillis();
            System.    out.println("程序执行总时间:" + (t2 - t1) / 1000 + "s");
        }

            /**
         *     获取一个操作HDFS系统的客户端工具对象
         *
         * @return
             */
            public static FileSystem getFileSystem() {
            FileSystem fs =     null;
                try {
                Configuration config =     new Configuration();
                config.set(    "dfs.support.append", "true");
                config.set(    "dfs.client.block.write.replace-datanode-on-failure.policy", "NEVER");
                config.set(    "dfs.client.block.write.replace-datanode-on-failure.enable", "true");
                config.set(    "fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");
                fs = FileSystem.get(    new URI("hdfs://10.3.4.67:4007"), config, "hadoop");
            }     catch (Exception e) {
                e.printStackTrace();
            }
                return fs;
        }
    }

附上pom文件

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"

         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>



    <groupId>cn.missfresh</groupId>

    <artifactId>RTG_JDBCReadEs</artifactId>

    <version>1.0-SNAPSHOT</version>



    <properties>

        <maven.compiler.source>1.8</maven.compiler.source>

        <maven.compiler.target>1.8</maven.compiler.target>

        <scala.version>2.11.8</scala.version>

        <spark.version>2.2.1</spark.version>

        <hadoop.version>2.7.3</hadoop.version>

        <encoding>UTF-8</encoding>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

    </properties>





    <dependencies>

        <!-- 导入scala的依赖 -->

        <dependency>

            <groupId>org.scala-lang</groupId>

            <artifactId>scala-library</artifactId>

            <version>${scala.version}</version>

        </dependency>



        <!-- 导入spark的依赖 -->

        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-core_2.11</artifactId>

            <version>${spark.version}</version>

        </dependency>



        <!-- 导入spark-sql的依赖 -->

        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-sql_2.11</artifactId>

            <version>${spark.version}</version>

        </dependency>





        <!-- 指定hadoop-client API的版本 -->

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>${hadoop.version}</version>

        </dependency>



        <dependency>

            <groupId>com.alibaba</groupId>

            <artifactId>fastjson</artifactId>

            <version>1.2.39</version>

        </dependency>



        <!-- mysql的连接驱动依赖 -->

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

            <version>5.1.38</version>

        </dependency>



        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-streaming_2.11</artifactId>

            <version>${spark.version}</version>

        </dependency>



        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>

            <version>${spark.version}</version>

        </dependency>



        <dependency>

            <groupId>redis.clients</groupId>

            <artifactId>jedis</artifactId>

            <version>2.9.0</version>

        </dependency>



        <!-- mongodb跟spark整合的依赖-->

        <dependency>

            <groupId>org.mongodb.spark</groupId>

            <artifactId>mongo-spark-connector_2.11</artifactId>

            <version>2.2.0</version>

        </dependency>



        <!-- https://mvnrepository.com/artifact/org.elasticsearch.plugin/reindex-client -->

        <dependency>

            <groupId>org.elasticsearch.plugin</groupId>

            <artifactId>jdbc</artifactId>

            <version>6.3.0</version>

        </dependency>



        <dependency>

            <groupId>mryx.elasticsearch</groupId>

            <artifactId>es-shaded-6.3.2</artifactId>

            <version>2.0-SNAPSHOT</version>

        </dependency>



        <!-- https://mvnrepository.com/artifact/org.apache.directory.studio/org.apache.logging.log4j -->

        <dependency>

            <groupId>org.apache.directory.studio</groupId>

            <artifactId>org.apache.logging.log4j</artifactId>

            <version>1.2.16</version>

        </dependency>



        <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core -->

        <dependency>

            <groupId>org.apache.logging.log4j</groupId>

            <artifactId>log4j-core</artifactId>

            <version>2.10.0</version>

        </dependency>

        <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-api -->

        <dependency>

            <groupId>org.apache.logging.log4j</groupId>

            <artifactId>log4j-api</artifactId>

            <version>2.10.0</version>

        </dependency>





        <dependency>

            <groupId>org.apache.hive</groupId>

            <artifactId>hive-jdbc</artifactId>

            <version>1.1.0</version>

        </dependency>





    </dependencies>

    <repositories>

        <repository>

            <id>elastic.co</id>

            <url>https://artifacts.elastic.co/maven</url>

        </repository>

    </repositories>



    <build>

        <plugins>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-compiler-plugin</artifactId>

                <configuration>

                    <source>1.7</source>

                    <target>1.7</target>

                    <encoding>${project.build.sourceEncoding}</encoding>

                </configuration>

            </plugin>

            <!-- 打包jar文件时，配置manifest文件，加入lib包的jar依赖 -->

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-jar-plugin</artifactId>

                <configuration>

                    <classesDirectory>target/classes/</classesDirectory>

                    <archive>

                        <manifest>

                            <mainClass>com.missfresh.data.main.StartProvider</mainClass>

                            <!-- 打包时 MANIFEST.MF文件不记录的时间戳版本 -->

                            <useUniqueVersions>false</useUniqueVersions>

                            <addClasspath>true</addClasspath>

                            <classpathPrefix>lib/</classpathPrefix>

                        </manifest>

                        <manifestEntries>

                            <Class-Path>.</Class-Path>

                        </manifestEntries>

                    </archive>

                </configuration>

            </plugin>



            <!-- 把依赖的jar包,打成一个lib文件夹 -->

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-dependency-plugin</artifactId>

                <executions>

                    <execution>

                        <id>copy-dependencies</id>

                        <phase>package</phase>

                        <goals>

                            <goal>copy-dependencies</goal>

                        </goals>

                        <configuration>

                            <type>jar</type>

                            <includeTypes>jar</includeTypes>

                            <outputDirectory>

                                ${project.build.directory}/lib

                            </outputDirectory>

                        </configuration>

                    </execution>

                </executions>

            </plugin>

        </plugins>

    </build>
测试脚本：
#!/bin/bash
 
source /etc/profile
java -cp \
/data/chiji/RTG_JDBCReadEs/RTG_JDBCReadEs-1.0-SNAPSHOT.jar:\
/data/chiji/RTG_JDBCReadEs/lib/elasticsearch-x-content-6.3.0.jar:\
/data/chiji/RTG_JDBCReadEs/lib/elasticsearch-6.3.0.jar:\
/data/chiji/RTG_JDBCReadEs/lib/elasticsearch-core-6.3.0.jar:\
/data/chiji/RTG_JDBCReadEs/lib/joda-time-2.9.9.jar:\
/data/chiji/RTG_JDBCReadEs/lib/lucene-core-7.3.1.jar:\
/data/chiji/RTG_JDBCReadEs/lib/jackson-core-2.8.10.jar:\
/data/chiji/RTG_JDBCReadEs/lib/org.apache.logging.log4j-1.2.16.jar:\
/data/chiji/RTG_JDBCReadEs/lib/log4j-core-2.10.0.jar:\
/data/chiji/RTG_JDBCReadEs/lib/log4j-api-2.10.0.jar \
cn.missfresh.JDBCReadEs \
"select count(*) from dw_test10" 1 /user/test08

注意

上面部分是自己打shade包 可以自己添加依赖 如果需要可以私信我 

  1. 测试结果
  3. 完美！！

 

sun_duoLong
关注
专栏目录
DBeaver通过jdbc方式连接ES(免证书)
zwrlj527的专栏
06-21 1216
这个确实比安装证书方式方便，（ES官网也提供ES的jdbc驱动，但是你用了就会发现，它只是能连接，根本看不到表（索引））通过这个事情发现跟大佬还是有差距，大佬不写博客，写的代码比我多，都是私人性质的，确实挺强所以以后也考虑写点啥私人性质的项目就写到这里，加油，uping！
JDBC 连接 ElasticSearch
热门推荐
周天祥的博客
04-26 3万+
JDBC 连接 ElasticSearch 1、Maven依赖 2、测试连接 3、破解x-pack-core（使ElasticSearch支持JDBC） 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博硕生准备的，太难看懂了。最近发现了一个非常适合小白入门的教程，不仅通俗易懂而且还很风趣幽默。所以忍不住分享一下给大家。点这里可以跳转...
Elasticsearch-JDBC 使用教程
最新发布
gitblog_00757的博客
08-09 431
Elasticsearch-JDBC 使用教程 elasticsearch-jdbcJDBC importer for Elasticsearch项目地址:https://gitcode.com/gh_mirrors/el/elasticsearch-jdbc 项目介绍 Elasticsearch-JDBC 是一个开源项目，它允许用户通过 JDBC 接口与 Elasticsearch 进行交互。...
JDBC连接ES查询
阿鹏的博客
07-04 2528
文章目录前言一、maven依赖二、实现代码 前言 ES也支持使用JDBC协议去 查询索引和文档内容，本文给出样例 一、maven依赖 <!-- 数据库驱动 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> &
使用JDBC连接ElasticSearch6.3（ElasticSearch SQL JDBC）
吃果冻不吐果冻皮
06-19 1万+
简述 Elasticsearch6.3内置支持 SQL，我们可以像操作 MySQL一样使用 Elasticsearch，这样我们就可以减少 DSL 的学习成本，这个 SQL 模块是属于 X-Pack 的一部分。Elasticsearch SQL 主要有以下几个特点： 1. 允许我们在 Elasticsearch 使用 SQL 查询其中的数据； 2. 支持 REST 、 JDBC 以及命令行来...
Es的jdbc的配置连接
qq_43662627的博客
10-15 1270
Es不允许免费版的jdbc连接，但可以免费使用30天，社区的政策是 修改政策 curl -X POST "localhost:9200/_license/start_trial?acknowledge=true&pretty" ES的mavn配置 <dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>
elasticsearch6.3.2相关jar包
08-20
资源来自maven仓库，maven配置如下所区jar包 <groupId>org.elasticsearch.client <artifactId>transport <version>6.3.2 </dependency>
elasticsearch6.3的jdbc依赖
07-13
Elasticsearch JDBC是一个库，它实现了JDBC（Java Database Connectivity）驱动程序接口，使Elasticsearch能够作为数据源在各种支持JDBC的应用程序中使用，如Java应用程序、报表工具或BI（商业智能）平台。...
elasticsearch-6.3.2.tar.gz
07-31
总的来说，Elasticsearch 6.3.2是全文搜索和数据分析领域的一个强大工具，其引入的SQL支持使得它更易于被广泛接纳，而其在性能、安全和管理上的改进则进一步提升了用户体验。对于需要高效检索和分析大规模数据的项目...
基于Logstash由SQLServer向Elasticsearch同步数据： logstash配置文件
iOS逆向与安全
03-14 515
官方文档：https://www.elastic.co/guide/en/logstash/current/pipeline.html。statement ： sql 里面的字段首字母必须as 成小写，或者你直接小写也行，但是必须的小写。依赖DB中的特定字段，可能会涉及到原有表结构的修改。在删除数据时无法通过这种方式获得数据的变更。x_Loan_PreservationAdvanceList.sql 需要同步数据执行的Sql。解压完成后，进入解压后的logstash-7.2.0文件夹。
x-pack-sql-jdbc.rar
09-01
x-pack-sql-jdbc-7.7.1 + x-pack-sql-jdbc-7.7.1是数据库客户端连接elasticsearch的驱动jdbc库
esqlj-elastic-jdbc：在Elastic Rest高级API之上构建的Elasticsearch JDBC驱动程序
02-14
esqlj-elastic-jdbc 根据Apache License 2.0发布的Elastic的JDBC驱动程序 esqlj完全不使用SQL Elastic实现，Elastic集成建立在Elastic Rest High Level API（版本7.11）之上。 请参阅文件夹licenses/elastic-licenses jsqlparser库提供Sql解析。 在文件夹licenses/JSqlParser查看相关许可证 项目状态 没有生产准备 SQL层：部分实现的DQL。 未实现DDL和DML 驾驶舱 org.fpasti.jdbc.esqlj.EsDriver JDBC驱动程序构件未在任何公共Maven存储库上发布 JDBC连接字符串 JDBC URL必须遵循以下语法： jdbc:esqlj:http<s>://<elastic>:<elastic_
es-jdbc6.4.0许可文件
01-16
elasticsearch6.4.0的sql查询许可文件，打开Kibana的控制台http://localhost:5601/ 点击Management,选择Elasticsearch-License Management,
x-pack-sql-jdbc-6.4-7.6各个版本jdbc驱动--百度网盘下载
06-30
x-pack-sql-jdbc-6.4.0到x-pack-sql-jdbc-7.6.0各个版本jdbc驱动下载
x-pack-sql-jdbc-7.8.0.jar
06-22
数据库客户端连接elasticsea rch的驱动jdbc库 x-pack-sql-jdbc-7.8.0.jar
Windows上搭建Elasticsearch+Logstash+jdbc+Kibana
谷子的博客
08-03 712
ELK介绍 ElasticSearch：是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 Logstash： 是开源的服务器端数据处理管道，能够同时 从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “...
Elasticsearch7使用jdbc连接
运维打怪晋级之路
06-30 4642
Elasticsearch7.0.1 使用jdbc连接 项目中添加maven依赖 <repositories> <repository> <id>elastic.co</id> <url>https://artifacts.elastic.co/maven</url> </repository> </repositories> <dependency> <grou
python sqlalchemy 连接池_SQLAlchemy连接池和会话
weixin_39937635的博客
12-22 408
1) Firstly, if I don't explicitly close my session object, will itautomatically close after the request has been processed?垃圾收集器最终将*调用会话上的__del__。如果您没有以其他方式整理会话，这可能会导致回滚。你通常应该这样做：import contextlibdef ...
Elasticsearch 6.3.2 PDF文档：全文本搜索与应用实例详解
Elasticsearch 6.3.2 是一款功能强大的开源全文搜索引擎和分析工具，其设计目标是为了支持海量数据的快速存储、搜索与实时分析，特别适用于需要复杂搜索功能和性能要求高的应用程序。此版本的文档详细介绍了如何在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值