docker-compose搭建elasticsearch+kibana环境，以及php使用elasticsearch

最新推荐文章于 2024-06-12 08:48:19 发布
最新推荐文章于 2024-06-12 08:48:19 发布
阅读量210 收藏
点赞数
文章标签： 大数据 php 运维
原文链接：http://www.cnblogs.com/werben/p/11550412.html
版权

一、elasticsearch的Dockerfile

增加中文搜索插件analysis-ik

FROM docker.elastic.co/elasticsearch/elasticsearch:7.2.0
 
ENV VERSION=7.2.0
 
# https://github.com/medcl/elasticsearch-analysis-ik/releases
ADD https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v${VERSION}/elasticsearch-analysis-ik-$VERSION.zip /tmp/
RUN /usr/share/elasticsearch/bin/elasticsearch-plugin install -b file:///tmp/elasticsearch-analysis-ik-$VERSION.zip
 
RUN rm -rf /tmp/*

 

二、编写docker-compose.yml

version: '3'
services:
  es01:
    image: "beng/es:7.2.0"
    build: .
    container_name: es01
    restart: always
    volumes:
      - ./es01/data:/usr/share/elasticsearch/data:rw
      - ./es01/logs:/user/share/elasticsearch/logs:rw
    environment:
      - node.name=es01
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - discovery.seed_hosts=es02:9300,es03:9300
      - cluster.initial_master_nodes=es01,es02,es03
    ulimits:
      memlock:
        soft: -1
        hard: -1
    ports:
      - "9200:9200"
      - "9300:9300"
    networks:
      - esnet
 
  es02:
    image: "beng/es:7.2.0"
    build: .
    container_name: es02
    restart: always
    volumes:
       - ./es02/data:/usr/share/elasticsearch/data:rw
       - ./es02/logs:/user/share/elasticsearch/logs:rw
    environment:
      - node.name=es02
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - discovery.seed_hosts=es01:9300,es03:9300
      - cluster.initial_master_nodes=es01,es02,es03
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - esnet
 
  es03:
    image: "beng/es:7.2.0"
    build: .
    container_name: es03
    restart: always
    volumes:
      - ./es03/data:/usr/share/elasticsearch/data:rw
      - ./es03/logs:/user/share/elasticsearch/logs:rw
    environment:
      - node.name=es03
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - discovery.seed_hosts=es01:9300,es02:9300
      - cluster.initial_master_nodes=es01,es02,es03
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - esnet
 
  kibana:
    image: docker.elastic.co/kibana/kibana:7.2.0
    container_name: kibana
    ports:
      - 5601:5601
    volumes:
      - ./kibana/kibana.yml:/usr/share/kibana/config/kibana.yml:rw
    networks:
      - esnet
      
networks:
  esnet:

　　

三、编写kibana配置文件

看到网上很多人将elasticsearch.hosts这些参数直接配置在docker-compose文件里设置environment里面，

但是我在docker-compose文件里设置environment怎样都没有生效（原因没找到），于是直接自己写配置文件，并将配置文件磁盘映射到容器中

#
# ** THIS IS AN AUTO-GENERATED FILE **
#
 
# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://es01:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: zh-CN

四、在php中使用elasticsearch

composer elasticsearch php库地址：https://packagist.org/packages/elasticsearch/elasticsearch

elasticsearch php的官方文档参考：https://www.elastic.co/guide/cn/elasticsearch/php/current/_quickstart.html

在根目录下引入库

composer require elasticsearch/elasticsearch
use Elasticsearch\ClientBuilder;


//删除索引下的所有文档
private function deleteAllDoc() {
    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();

    $params = [
        'index' => 'book',
        'type' => '_doc',
        'body' => [
            'query' => [
                'bool' => [
                    'must_not' => ['term' => [ 'id' => -1000 ]],
                ]
            ]
        ]
    ];

    $response = $client->deleteByQuery($params);
    echo "delete success\n";
    print_r($response);
}

//删除某一个文档
private function deleteDoc($id = 0) {
    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();

    $params = [
        'index' => 'book',
        'type' => '_doc',
        'id' => $id
    ];

    $response = $client->delete($params);
    print_r($response);
}

//获取文档
private function getDoc($id = 0) {

    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();

    $params = [
        'index' => 'book_index',
        'type' => '_doc',
        'id' => $id
    ];

    try {
        $response = $client->get($params);
        print_r($response['_source']);
    } catch (Missing404Exception $e) {
        echo 'not exist!';
    }
}

//添加文档
private function addDoc() {
    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();
    $params = [
        'index' => 'my_index',
        'type' => '_doc',
        'id' => strval(2),
        'body' => [
            'first_name' => '关 搜键隔字，以英逗索用号分，书本标文签用label字，不要段混淆',
            'age' => 18
        ]
    ];
    $response = $client->index($params);
    print_r($response);
    print "\n";
}

//删除索引
private function deleteIndex() {
    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();

    $params = ['index' => 'book'];
    $response = $client->indices()->delete($params);
    print_r($response);
}

//创建索引
private function createIndex() {

    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();

    $params = [
        'index' => 'book_index',
        'body' => [
            'settings' => [
                'number_of_shards' => 2,
                'number_of_replicas' => 1
            ],
            'mappings' => [
                '_source' => [
                    'enabled' => true
                ],
                'properties' => [
                    'id' => [
                        'type' => 'integer',
                    ],
                    'title' => [
                        'type' => 'text',
                        //使用ik中文分词
                        'analyzer' => 'ik_max_word'
                    ],
                    'image' => [
                        'type' => 'text'
                    ],
                    'author' => [
                        'type' => 'text',
                        'analyzer' => 'ik_max_word'
                    ],
                    'words' => [
                        'type' => 'integer'
                    ],
                    'description' => [
                        'type' => 'text',
                        'analyzer' => 'ik_max_word'
                    ],
                    'is_vip' => [
                        'type' => 'integer'
                    ],
                    'bookstatus' => [
                        'type' => 'text'
                    ],
                    'online_status' => [
                        'type' => 'integer'
                    ],
                    'type_name' => [
                        'type' => 'text'
                    ],
                    'heat' => [
                        'type' => 'integer'
                    ],
                    'stars' => [
                        'type' => 'float'
                    ],
                ]
            ]
        ]
    ];

    $response = $client->indices()->create($params);
    print_r($response);
}



//搜索书籍
public function searchBook($key, $vip = 0, $page = 1) {

    $size = 20;
    $words_size = 30;
    $match_num = 2;
    $offset = ($page - 1) * $size;
    
    $client = ClientBuilder::create()
        ->setHosts(config('api.elasticsearch_host'))
        ->build();
    
    //插入到高亮搜索字前面的内容
    $pre_tags = "";
    //插入到高亮搜索字后面的内容
    $post_tags = "";
    $title_weight = 20;
    $author_weight = 20;
    $description_weight = 1;
    
    $params = [
        'index' => 'book_index',
        'type' => '_doc',
        //分页
        "from" => $offset,
        "size" => $size,
        'body' => [
            'query' => [
                'bool' => [
                    //其他必须条件，书的vip
                    'must' => ['term' => [ 'is_vip' => intval($vip) ]],
                    //其他必须条件，书的状态必须为已上架
                    'must' => ['term' => [ 'online_status' => 5 ]],
                    //撞击分数规则
                    'should' => [
                        'multi_match' => [
                            //搜索关键字
                            'query' => $key,
                            //书的标题权重20，书的作者标题权重20，书简述权重为1
                            'fields' => ['title^'.$title_weight, 'author^'.$author_weight, 'description^'.$description_weight],
                            "type" => "cross_fields",
                            "operator" => "OR",
                            //至少匹配度30%
                            "minimum_should_match" => "30%"
                        ]
                    ]
                ]
            ],
            //关键字高亮
            'highlight' => [
                //匹配包含关键字的高亮次数，比如有30段文本包含关键字，如果只需要前面两次的，那$match_num=2
                'number_of_fragments' => $match_num,
                //匹配包含关键字的高亮段落保留多少文字，比如一片文章中有30个片段包含关键字，
                //每个片段保留30个文字，则$words_size=30，多余的会忽略
                'fragment_size' => $words_size,
                'fields' => [
                    //高亮的字段，这里高亮书的标题和作者以及书简述
                    'title' => ['pre_tags' => $pre_tags, 'post_tags' => $post_tags,],
                    'author' => ['pre_tags' => $pre_tags, 'post_tags' => $post_tags,],
                    'description' => ['pre_tags' => $pre_tags, 'post_tags' => $post_tags,],
                ]
            ]
        ]
    ];
    
    $results = $client->search($params);
    $hits = $results['hits']['hits'];
    
    if (empty($results['hits']['hits'])) {
        return [];
    }
    
    $books = [];
    //提取书信息
    foreach ($hits as $key => $value) {
        $book = [];
        $book['book_id'] = $value['_source']['id'];
    
        if (!empty($value['highlight']['title'])) {
            $book['title'] = $value['highlight']['title'][0];
        } else {
            $book['title'] = $value['_source']['title'];
        }
    
        if (!empty($value['highlight']['author'])) {
            $book['author'] = $value['highlight']['author'][0];
        } else {
            $book['author'] = $value['_source']['author'];
        }
    
        if (!empty($value['highlight']['description'])) {
            $book['description'] = $value['highlight']['description'][0];
    
            if (!empty($value['highlight']['description'][1])) {
                $book['description'] = $book['description']. '...' .$value['highlight']['description'][1];
            }
        } else {
            $book['description'] = $value['_source']['description'];
        }
        $book['description'] = str_replace(array( "\r\n", "\n\n", "\r", "　　"), "", $book['description']);
    
        $book['bookstatus'] = $value['_source']['bookstatus'];
        $book['image'] = $value['_source']['image'];
        $book['words'] = $value['_source']['words'];
        $book['stars'] = $value['_source']['stars'];
        $book['heat'] = $value['_source']['heat'];
        $book['type_name'] = $value['_source']['type_name'];
        array_push($books, $book);
    }
    
    return $books;
}

转载于:https://www.cnblogs.com/werben/p/11550412.html

banjiao6278
关注
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
使用PHP操作ElasticSearch
a18827547638的博客
11-24 567
网上很多关于ES的例子都过时了，版本很久，这篇文章的测试环境是ES6.5 通过composer 安装 composer require 'elasticsearch/elasticsearch' 在代码中引入 require 'vendor/autoload.php'; use Elasticsearch\ClientBuilder; $client = ClientBuilder::create()->setHosts(['172.16.55.53'])->build();
docker-compose部署elasticsearch+kibana
linger04的博客
03-13 461
解决办法：在这个/opt/docker_compose_data/elasticsearch/config/elasticsearch.yml文件下写入。解决办法：这个按上述操作不会出现这个问题，主要是文件权限不够，再chmod 777 即可。如果访问kibana报错Kibana server is not ready yet。并且访问ip+端口//_cat/nodes?(这里是7.4.2版本，也可以按需修改相关版本)解决方法：修改el的yml文件。解决方法：修改内存配置。
docker-compose快速部署elasticsearch 和kibana
m0_63761171的博客
10-27 1517
当涉及到部署和管理现代化的应用程序时，容器化技术已经成为不可或缺的工具。Docker 是其中的佼佼者，而 Docker Compose 则是一款强大的工具，它允许开发者轻松定义和运行多个容器化应用组件。在大数据和日志分析领域，Elasticsearch 和 Kibana 是两个备受欢迎的工具，用于存储、搜索和可视化数据。本文将向您介绍如何使用 Docker Compose 快速部署 Elasticsearch 和 Kibana，以便您能够轻松地搭建强大的日志和数据分析平台，加快应用开发和故障排除的速度。
docker 安装es 7.6.2 集群
LiuM150428的博客
08-27 318
docker 安装es 集群 1.设置max_map_count不能启动es会启动不起来 查看max_map_count的值默认是65530 cat /proc/sys/vm/max_map_countCopy to clipboardErrorCopied 重新设置max_map_count的值 sysctl -w vm.max_map_count=262144 1>拉取镜像 docker pull elasticsearch:7.6.2 2>创建数据挂在目录，以及配置E.
Elasticsearch docker 安装
wangqiaowq的博客
06-12 648
Install Elasticsearch with Docker | Elasticsearch Guide [8.14] | Elastic
centos7使用docker-compose安装es(包括IK分词器扩展)+kibana
04-13
环境：centos7.7_x86_64 1、虚拟机内存要稍大些至少2G ... docker-compose up # 此命令环境会在终端前台运行 docker-compose up -d # 加上-d会放入后台进行环境的启动 如有问题，欢迎进行联系交流
elastic-docker:使用docker-compose的Elasticsearch，Kibana，Logstash和Beats的示例设置
05-15
该存储库包含一些示例，这些示例如何使用官方映像在Docker中运行Elasticsearch，Kibana，Beats和Logstash并将其绑定到默认端口。 使用最新版本的Docker守护程序进行了测试。 您在上连接到Kibana，在上连接到Elastic...
docker-compose-elasticsearch-kibana：用于Elasticsearch和Kibana的Docker Compose
01-31
在本文中，我们将深入探讨如何使用Docker Compose来部署Elasticsearch和Kibana，这两个都是Elastic Stack（以前称为ELK Stack）的关键组件。** **Elasticsearch** 是一个强大的分布式、开源的搜索引擎，它被广泛...
ARM架构CPU基于docker-compose离线部署elasticsearch7.17.21+kibana7.17.21工具
05-22
1、支持单实例部署（1 elasticsearch + 1 kibana）。 2、支持单机伪集群部署（3 elasticsearch + 1 kibana）。 3、支持多机分布式集群部署（3 elasticsearch+ 1 kibana）。 4、支持数据目录、日志目录、备份目录、...
linux配置部署elasticsearch集群（虚拟机、docker）
释玉的博客
01-27 4671
ES集群搭建 一、环境准备 JDK 配置。 略 2. elasticsearch7.X开始需要java11，通常我们用jdk1.8作为共有环境变量，我们可以不安装 jdk11版本 。但启动会报错，因为与现有环境变量冲突。 敲黑板： es安装包包含一个相匹配的 JAVA 版本，只需修改配置文件。修改启动脚本/bin/elasticsearch使用自带jdk。亲测不好使没找到原因，启动总是提示找不到JAVA_HOME。所以自己下了一个jdk11。修改/bin/elasticse...
Elasticsearch (一) 基于Docker-compose 搭建集群
m0_67392931的博客
08-16 1400
基于docker-compose 安装 elasticsearch 集群，kibana可视化组件， 通过cerebro工具监控集群信息。
Docker部署elasticsearch和kibana，以及Docker-compose一键启动并配置账号密码
weixin_52457750的博客
10-25 3108
Docker部署elasticsearch和kibana，以及Docker-compose一键启动并配置账号密码
docker-compose安装elasticsearch和kibana
qq_42008471的博客
09-02 1174
docker-compose安装es
Kibana的简单安装详细步骤、以及如何简单的使用Kibana操作ES
weixin_66479402的博客
08-27 2637
Kibana是ES提供的一个基于Node.js的管理控制台, 可以很容易实现高级的数据分析和可视化，以图标的形式展现出来。kibana可以用来编辑请求语句的，方便学习操作es的语法。有时在进行编写程序，写到查询语句时，往往我会使用kibana进行书写，然后再粘贴到程序中。（不容易出错）......
docker-compose部署单台es和kibana
weixin_41228362的博客
07-28 3697
1. 概述 首先在宿主机上准备一下es和kibana的配置文件，之后根据自己的情况配置docker-compose.yml，最后运行init.sh脚本 2. 准备es和kibana的配置文件 2.1 目录结构如下： 2.2 es的配置文件 es-master.yml # 集群名称 cluster.name: es-cluster # 节点名称 node.name: es-node1 # 是否可以成为master节点 node.master: true # 是否允许该节点存储数据,默认开启
使用docker-compose部署Kibana和es
litlit023的专栏
07-04 1789
目录 1. 概述 2. 查看es几点容器的实际IP 3. 修改kibana容器中kibana.yml文件中es的链接ip:port 4. 验证结果 5. 参考资料 1. 概述 基于docker-compose启动es集群和kibana后，在浏览器中访问kibana的5601端口，浏览器显示下异常信息：Kibana server is not ready yes。于是我们接下来就解决该问题：docker kibana出现Kibana server is not ready yet问题 2. 查
docker-compose安装elasticsearch集群+kibana
maquealone的博客
04-20 7287
公司需要用到elasticsearch做垂直搜索，下面记录下搭建elasticsearch集群环境的步骤。服务器使用的是阿里云服务器，操作系统是centos7。 一、安装docker Yum install docker-ce 安装成功后运行docker -v查看docker版本。 运行docker run hello-world查看docker是否可用。 注意：一定要提前运行下do...
生产环境下使用docker-compose部署elasticsearch和kibana
最新发布
09-20
在生产环境中使用`docker-compose`部署`Elasticsearch`和`Kibana`通常是为了实现容器化应用管理和服务间协同。`docker-compose`允许你通过YAML文件定义并管理多个Docker容器、网络以及它们之间的依赖。 以下是部署...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值