ElasticSearch 本地快速搭建与使用

最新推荐文章于 2024-06-02 12:25:56 发布
最新推荐文章于 2024-06-02 12:25:56 发布
阅读量972 收藏 2
点赞数
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_54849806/article/details/126359264
版权

elasticsearch 搜索引擎 大数据 容器 分布式

文章目录

ElasticSearch 简介

ElasticSearch是一个高度可扩展的开源搜索引擎并使用REST API，所以您值得拥有。 在本教程中，将介绍开始使用ElasticSearch的一些主要概念。

下载并运行ElasticSearch

ElasticSearch可以从elasticsearch.org下载对应的文件格式，如ZIP和TAR.GZ。下载并提取一个运行它的软件包之后不会容易得多，需要提前安装Java运行时环境。
下载链接 https://www.elastic.co/products/elasticsearch

在Windows上运行ElasticSearch

  • 从命令窗口运行位于bin文件夹中的elasticsearch.bat。这将会启动ElasticSearch在控制台的前台运行，这意味着我们可在控制台中看到运行信息或一些错误信息，并可以使用CTRL + C停止或关闭它。
  • 在启动过程中，ElasticSearch的实例运行会占用大量的内存，所以在这一过程中，电脑会变得比较慢，需要耐心等待，启动加载完成后电脑就可以正常使用了
  • 当ElasticSearch的实例并运行，您可以使用http://localhost:9200检查是否运行成功

安装ik中文分词器

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

  • 选择和已经下载的elasticsearch版本兼容的ik。
  • 解压后复制elasticsearch/plugins目录下
  • 重新运行elasticsearch.bat

ik测试使用

可以使用谷歌的Postman工具测试

创建一个索引:

curl -XPUT http://localhost:9200/index

创建一个映射

curl -XPOST http://localhost:9200/index/fulltext/_mapping -H 'Content-Type:application/json' -d'
{
        "properties": {
            "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_max_word"
            }
        }

}'

添加索引文档测试数据

curl -XPOST http://localhost:9200/index/fulltext/1 -H 'Content-Type:application/json' -d'
{"content":"美国留给伊拉克的是个烂摊子吗"}

curl -XPOST http://localhost:9200/index/fulltext/2 -H 'Content-Type:application/json' -d'
{"content":"公安部：各地校车将享最高路权"}

curl -XPOST http://localhost:9200/index/fulltext/3 -H 'Content-Type:application/json' -d'
{"content":"中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"}

curl -XPOST http://localhost:9200/index/fulltext/4 -H 'Content-Type:application/json' -d'
{"content":"中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"}

查询突出显示

curl -XPOST http://localhost:9200/index/fulltext/_search  -H 'Content-Type:application/json' -d'
{
    "query" : { "match" : { "content" : "中国" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}

返回结果

{
    "took": 14,
    "timed_out": false,
    "_shards": {
        "total": 5,
        "successful": 5,
        "failed": 0
    },
    "hits": {
        "total": 2,
        "max_score": 2,
        "hits": [
            {
                "_index": "index",
                "_type": "fulltext",
                "_id": "4",
                "_score": 2,
                "_source": {
                    "content": "中国驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首"
                },
                "highlight": {
                    "content": [
                        "<tag1>中国</tag1>驻洛杉矶领事馆遭亚裔男子枪击 嫌犯已自首 "
                    ]
                }
            },
            {
                "_index": "index",
                "_type": "fulltext",
                "_id": "3",
                "_score": 2,
                "_source": {
                    "content": "中韩渔警冲突调查：韩警平均每天扣1艘中国渔船"
                },
                "highlight": {
                    "content": [
                        "均每天扣1艘<tag1>中国</tag1>渔船 "
                    ]
                }
            }
        ]
    }
}

安装ElasticSearch的Head插件

安装head需要安装node和grunt

  • 安装nodejs：https://nodejs.org/en/download
  • 安装grunt：npm install -g grunt-cli 安装完成后执行grunt -version查看是否安装成功，会显示安装的版本号

修改elasticsearch.yml文件
去掉network.host: 192.168.0.1的注释并改为network.host: 0.0.0.0，
去掉cluster.name；node.name；http.port的注释

在文件的末尾加入以下代码:

http.cors.enabled: true 
http.cors.allow-origin: "*"
node.master: true
node.data: true

Linux安装ElasticSearch

https://blog.csdn.net/weixin_41615494/article/details/79591335

访问elasticSearch官网地址 https://www.elastic.co/
下载指定版本的安装包：elasticsearch-6.1.1.tar.gz,上传至指定目录/usr/local/elasticsearch

#解压
tar -zxvf elasticsearch-6.1.1.tar.gz
#创建数据存储目录
mkdir -p /usr/local/elasticsearch/data
#创建日志存储目录
mkdir -p /usr/local/elasticsearch/logs

#进入到es安装目录下的config文件夹中，修改elasticsearch.yml 文件

#配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。
cluster.name: qxw-application
#节点名称
node.name: node-1 
#设置索引数据的存储路径
path.data: /usr/local/elasticsearch/data 
#设置日志的存储路径
path.logs: /usr/local/elasticsearch/logs 
#设置当前的ip地址,通过指定相同网段的其他节点会加入该集群中
network.host: 192.168.1.191
#设置对外服务的http端口
http.port: 9200 
#设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点
discovery.zen.ping.unicast.hosts: ["node-1"]

修改host 文件，执行命令 vi /etc/hosts

因为安全问题elasticsearch 不让用root用户直接运行，所以要创建新用户。

useradd es
passwd es
再输入两次密码(自定义)

#给新创建用户文件夹执行权限
chown -R es:es /usr/local/elasticsearch

切换es用户：su es

启动集群命令：
cd  /usr/local/elasticsearch
bin/elasticsearch

在es用户下启动时报错

原因：Centos6不支持SecComp，而ES默认bootstrap.system_call_filter为true进行检测，所以导致检测失败，失败后直接导致ES不能启动

详见 ：https://github.com/elastic/elasticsearch/issues/22899
解决方案：

在elasticsearch.yml中新增配置bootstrap.system_call_filter，设为false。
bootstrap.system_call_filter: false

第一个问题的原因：

原因：无法创建本地文件问题,用户最大可创建文件数太小

解决方案：切换到root用户，编辑limits.conf配置文件， 添加类似如下内容：

vi /etc/security/limits.conf

添加如下内容: 注意*不要去掉了

* soft nofile 65536

* hard nofile 131072

备注：* 代表Linux所有用户名称（比如 hadoop）

需要保存、退出、重新登录才可生效。

第二个错误的原因：

原因：无法创建本地线程问题,用户最大可创建线程数太小

解决方案：切换到root用户，进入limits.d目录下，修改90-nproc.conf 配置文件。

vi /etc/security/limits.d/90-nproc.conf

找到如下内容：

* soft nproc 1024

#修改为

* soft nproc 4096

第三个错误的原因：

原因：最大虚拟内存太小

每次启动机器都手动执行下。

root用户执行命令：

执行命令：sysctl -w vm.max_map_count=262144

查看修改结果命令：sysctl -a|grep vm.max_map_count  看是否已经修改

永久性修改策略：

echo "vm.max_map_count=262144" >> /etc/sysctl.conf

切换到es用户执行:bin/elasticsearch
访问：http://192.168.1.191:9200/

#后台启动
[es@localhost elasticsearch-6.4.0]$ ./bin/elasticsearch -d
[es@localhost elasticsearch-6.4.0]$ jps
27587 Jps
27573 Elasticsearch

java中使用elastaicsearch(RestHighLevelClient)

官方文档可以得知，现在存在至少三种Java客户端。

  1. Transport Client
  2. Java High Level REST Client
  3. Java Low Level Rest Client
  4. 强烈建议ES5及其以后的版本使用Java High Level REST Client

java High Level REST Client 介绍

  • Java High Level REST Client 是基于Java Low Level REST Client的，每个方法都可以是同步或者异步的。同步方法返回响应对象，而异步方法名以“async”结尾，并需要传入一个监听参数，来确保提醒是否有错误发生。
  • Java High Level REST Client需要Java1.8版本和ES。并且ES的版本要和客户端版本一致。和TransportClient接收的参数和返回值是一样的。

引入maven依赖

<dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>6.2.3</version>
        </dependency>

Java基础操作

public class RestClientTest {

    public static void main(String[] args) {
//        index();
//        bacthIndex();
         queryTest();
    }
    
    /**
     * 插入数据
     */
    public  static  void  index(){
        try {
            //RestHighLevelClient实例需要低级客户端构建器来构建
            RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
            IndexRequest indexRequest = new IndexRequest("demo", "demo");
            JSONObject obj=new JSONObject();
            obj.put("title","标题图表题大法师飞洒发顺丰三");
            obj.put("time","2018-08-21 17:43:50");
            indexRequest.source(obj.toJSONString(),XContentType.JSON);
            //添加索引
            client.index(indexRequest);
            client.close();

            //http://localhost:9200/demo/demo/_search  浏览器运行查询数据
        }catch (Exception e){
                e.printStackTrace();
        }
    }

    /**
     * 批量插入数据
     */
   public static  void  bacthIndex(){
       RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
       List<IndexRequest> requests = new ArrayList<>();
       requests.add(generateNewsRequest("中印边防军于拉达克举行会晤 强调维护边境和平", "2018-01-27T08:34:00Z"));
       BulkRequest bulkRequest = new BulkRequest();
       for (IndexRequest indexRequest : requests) {
           bulkRequest.add(indexRequest);
       }
       try {
           client.bulk(bulkRequest);
           client.close();
       } catch (Exception e) {
           e.printStackTrace();
       }
   }
    public static IndexRequest generateNewsRequest(String title,String publishTime){
        IndexRequest indexRequest = new IndexRequest("demo", "demo");
        JSONObject obj=new JSONObject();
        obj.put("title",title);
        obj.put("time",publishTime);
        indexRequest.source(obj.toJSONString(),XContentType.JSON);
        return indexRequest;
    }

    /**
     * 查询操作
     * https://blog.csdn.net/paditang/article/details/78802799
     * https://blog.csdn.net/A_Story_Donkey/article/details/79667670
     * https://www.cnblogs.com/wenbronk/p/6432990.html
     */
    public static  void  queryTest(){
        RestHighLevelClient client = new RestHighLevelClient(RestClient.builder(new HttpHost("localhost", 9200, "http")));
        // 这个sourcebuilder就类似于查询语句中最外层的部分。包括查询分页的起始，
        // 查询语句的核心，查询结果的排序，查询结果截取部分返回等一系列配置
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        try {
            // 结果开始处
            sourceBuilder.from(0);
            // 查询结果终止处
            sourceBuilder.size(2);
            // 查询的等待时间
            sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));

            /**
             * 使用QueryBuilder
             * termQuery("key", obj) 完全匹配
             * termsQuery("key", obj1, obj2..)   一次匹配多个值
             * matchQuery("key", Obj) 单个匹配, field不支持通配符, 前缀具高级特性
             * multiMatchQuery("text", "field1", "field2"..);  匹配多个字段, field有通配符忒行
             * matchAllQuery();         匹配所有文件
             */
            MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("title", "费德勒");

            //分词精确查询
//            TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("tag", "体育");


//            // 查询在时间区间范围内的结果  范围查询
//            RangeQueryBuilder rangeQueryBuilder = QueryBuilders.rangeQuery("publishTime");
//            rangeQueryBuilder.gte("2018-01-26T08:00:00Z");
//            rangeQueryBuilder.lte("2018-01-26T20:00:00Z");

            // 等同于bool，将两个查询合并
            BoolQueryBuilder boolBuilder = QueryBuilders.boolQuery();
            boolBuilder.must(matchQueryBuilder);
//            boolBuilder.must(termQueryBuilder);
//            boolBuilder.must(rangeQueryBuilder);
            sourceBuilder.query(boolBuilder);

            // 排序
//            FieldSortBuilder fsb = SortBuilders.fieldSort("date");
//            fsb.order(SortOrder.DESC);
//            sourceBuilder.sort(fsb);


            SearchRequest searchRequest = new SearchRequest("demo");
            searchRequest.types("demo");
            searchRequest.source(sourceBuilder);
            SearchResponse response = client.search(searchRequest);
            System.out.println(response);
            client.close();
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}
繁华哟
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jaeger-elasticsearch-compose:Docker-compose配置，可将Jaeger用作Elasticsearch作为存储来快速部署
05-15
综上所述，"jaeger-elasticsearch-compose" 是一个用于快速部署Jaeger，并使用Elasticsearch存储追踪数据的Docker-compose解决方案。通过这个项目，开发者可以轻松搭建起一个分布式的追踪系统，以便监控和调试微服务...
elasticsearch-7.2.0.zip
07-14
在实际使用中，Elasticsearch常与其他工具一起使用，如Kibana（可视化工具）、Logstash（数据收集和预处理）和Beats（轻量级数据发送者），它们共同构成了ELK（Elasticsearch, Logstash, Kibana）或Elastic Stack，...
ElasticSearch本地开发环境搭建
Lord's Mercy的专栏
11-23 173
java项目中有用到ElasticSearch，最近同步数据时，每隔一段时间就会报错，我这边搞前端的刚接手要维护，奈何springboot一套还没学下来，只能硬着头皮看看，研究一下，先本地参照服务器版本搭建一套。
ElasticSearch：环境搭建步骤
A20001230T的博客
08-09 1126
ik分词器链接：https://pan.baidu.com/s/1InTANWCUxugDRWI4vwxPZQ?因为在创建elasticsearch容器的时候，映射了目录，所以可以在宿主机上进行配置ik中文分词器。上传到服务器上,放到对应目录（plugins）解压。把准备好的ik分词器文件。4、postman测试。3、配置中文分词器ik。
Elasticsearch安装与配置：快速搭建本地环境
最新发布
Dxy1239310216的博客
06-02 862
现在你已经成功在本地搭建了Elasticsearch环境，接下来你可以开始探索其强大的全文搜索和数据分析功能了。你可以使用Elasticsearch的RESTful API来与Elasticsearch进行交互，也可以使用Kibana（Elasticsearch的可视化工具）来更方便地进行数据分析和可视化。Elasticsearch，作为当下最流行的开源搜索引擎和数据分析工具之一，其强大的全文搜索能力和丰富的数据分析功能，吸引了众多开发者和数据分析师的关注。
Elasticsearch 实战之一：环境搭建
akenseren的博客
10-03 1934
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库—​无论是开源还是私有。但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常 复杂。
ES（elasticsearch）本地安装+整合Spring Boot 基本操作
qq_40362459的博客
01-14 1030
ES 基础java语言操作
使用docker快速搭建Elasticsearch集群.pdf
11-23
下面将详细介绍如何使用Docker快速搭建Elasticsearch集群。 首先，确保你的系统满足运行Elasticsearch的基本需求。在Linux环境下，特别要注意`vm.max_map_count`这个内核参数。Elasticsearch需要大量的内存映射来...
kibana-4.6.1 搭配elasticsearch2.4.4使用
12-22
《Kibana 4.6.1与Elasticsearch 2.4.4的协同使用指南》 在大数据分析和可视化领域，Kibana与Elasticsearch是两款至关重要的工具。Kibana作为Elastic Stack（原ELK Stack）的重要组成部分，提供了直观的界面，用于...
最新版windows elasticsearch-7.16.2-windows-x86_64.zip
12-20
14. **备份与恢复**：定期备份数据至关重要，Elasticsearch提供了快照和恢复功能，可以在本地或远程存储中创建索引的备份。 15. **弹性伸缩**：作为一款分布式系统，Elasticsearch具备良好的横向扩展能力，当数据量...
SpringBoot集成ElasticSearch
jike11231的博客
05-28 5894
被逼无奈，各行各业都在卷，给自己充电学习了Elasticsearch，在学完基础知识后（其实就是CRUD😂），就去Springboot中尝试整合ES。终于抽出时间，将学习的东西整理分享在此，欢迎大家批评指正哈~
Elasticsearch学习-本地安装
chemmeng的博客
11-18 1812
本地安装Elasticsearch+kibana+head插件
Elastic Stack搭建部署及使用示例（手把手）
weixin_38251332的博客
05-15 1192
文章目录zookeeper安装部署配置：zoo.cfg创建数据和日志目录创建myid文件zk使用zookeeper可视化:kafkakafka伪分布式安装部署beatsfilebeatmetricbeat 配置elasticsearchlogstashkibana 本博客是演示基于filebeat->kafka->logstash->elasticsearch->kibana 数据采集、及数据可视化分析系统搭建。 包括配置方法、使用实例、运维脚本 zookeeper安装部署 采用伪集
十分钟 搞定 Elasticsearch环境搭建（Windows）
anyhowanywhere的博客
11-23 3813
十分钟 搞定 Elasticsearch环境搭建（Windows） 为你提供快捷配置测试环境
ElasticSearch是一个基于Lucene的搜索服务器
weixin_30482383的博客
07-26 525
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）...
Elasticsearch最详细集群环境搭建
tom的博客
10-19 974
Elasticsearch最详细集群环境搭建
Elasticsearch-01篇（单机版简单安装）
@素素~的博客
06-30 1202
Elasticsearch-01篇（单机版简单安装）
Java配置11-elasticsearch未授权访问漏洞修复
JustDI0209的博客
01-10 5271
目录 1.现状 2.下载安装包 3.安装配置elasticsearch 4.安装配置logstash 5.安装配置kibana ​ 1.现状 先前安装的elk是6.2.4版本的，只做了最基本的配置，前段时间公司检测出安装的elasticsearch有未经授权访问的漏洞，并限期修复。 查了一些资料，发现在7.2.0版本的elk中默认安装了xpack，免费的，基本可以满足需求。 2.下载安装包 elk官网：https://www.elastic.co/cn/products...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值