elasticsearch
jiedaodezhuti
目前工作主要涉及大数据平台,数据治理方面的工作;
展开
-
hive往es映射表写数据报错
需要提前将jar上传至hdfs上的jars目录。需要加载hadoop和es的jar包。原创 2023-10-18 11:11:58 · 728 阅读 · 0 评论 -
部署elasticsearch需要调整的系统参数
报错的意思是ElasticSearch拥有的内存太小,至少需要262144。查看命令sysctl -a|grep vm.max_map_count可以看到到vm.max_map_count = 65530,需要增加这个值。临时生效的方法:sysctl -w vm.max_map_count=262144。如果需要永久生效,需要在/etc/sysctl.conf文件下添加一行:vm.max_map_count=262144并重启,即可解决。如果未进行具体设置的话,会使用默认配置,如下查看。原创 2023-09-18 10:47:24 · 528 阅读 · 0 评论 -
ElasticSearch可视化管理工具之ElasticHD
4.Dejavu 也是一个 Elasticsearch 的 Web UI 工具,其 UI界面更符合当下主流的前端页面风格,因此使用起来很方便。1.Elasticsearch-Head , Elasticsearch-Head 插件在5.x版本之后已不再维护,界面比较老旧。然后,我们浏览器访问下(如果你启动的服务想要别的电脑访问,就不要使用127.0.0.1 ,要使用局域网IP或者外网的固定IP)。5.ElasticHD 不依赖ES的插件安装,更便捷;导航栏直接填写对应的ES IP和端口就可以操作Es了。原创 2023-08-02 13:59:23 · 1604 阅读 · 0 评论 -
Elasticsearch 应用架构的实现与调优
1.ElasticSearch简介Elasticsearch是一个实时的分布式搜索和分析引擎,它可以用于全文搜索、结构化搜索及分析,并采用 Java 语言编写,主要特点有:(1)实时搜索与分析;(2)分布式架构、实时文件存储,并将每一个字段都编入索引;(3)文档导向,所有的对象全部是文档;(4)高可用性、易扩展,支持集群(Cluster)、分片和复制(Shards and Replicas);(5)接口友好,支持 JSON。2. Elasticsearch集群的架构与角色Elasticse翻译 2020-06-29 10:41:57 · 182 阅读 · 0 评论 -
Elasticsearch性能优化实践
1、集群规划优化实践1.1 基于目标数据量规划集群在业务初期,经常被问到的问题,要几个节点的集群,内存、CPU要多大,要不要SSD?最主要的考虑点是:你的目标存储数据量是多大?可以针对目标数据量反推节点多少。1.2 要留出容量Buffer注意:Elasticsearch有三个警戒水位线,磁盘使用率达到85%、90%、95%。不同警戒水位线会有不同的应急处理策略。这点,磁盘容量选型中要...转载 2020-04-29 15:53:01 · 333 阅读 · 0 评论 -
ElasticSearch应用架构
1.简介(1)实时的分布式搜索分析引擎(2)内部使用 Lucene 做索引与搜索2.索引结构和分片(1)文档由 _index 、 _type 和 _id组成_index:指向一个或者多个物理分片的逻辑命名空间._type:类型用于区分同一个集合中的不同细分,不同的细分中数据的整体模式是相同或相似的,不适合完全不同类型的数据 ,多个类型可以在相同的索引中存在,只要它们的字段不冲突(对于整...转载 2020-04-29 14:19:13 · 136 阅读 · 0 评论 -
Elasticsearch史上最全最常用工具清单
1、题记工欲善其事必先利其器,ELK Stack的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。希望能借助“工具”提高开发、运维效率!2、工具分类概览2.1 基础类工具1、Head插件1)功能概述:ES集群状态查看、索引数据查看、ES DSL实现(增、删、改、查操作)比较实用的地方:json串的格式化2)地址:http://mobz.github.io/elasti...转载 2020-04-22 15:39:00 · 200 阅读 · 0 评论 -
elasticsearch常见面试题
1、为什么使用es?因为数据非常多,所以采用以往的模糊查询,模糊查询前置配置,会放弃索引导致全表扫面,在百万级别的数据库中,效率非常低下,而我们使用ES做一个全文索引,将经常查询的字段放入我们索引库里,可以提高查询速度。2、实现es的Master选举的?(1)es的选主是ZenDiscovery模块负责的,主要包含Ping(节点之间通过这个RPC来发现彼此)和Unicast(单播模块包含一个...翻译 2020-04-22 14:51:56 · 553 阅读 · 0 评论 -
es监控利器cerebro
cerebro一款全能的ES工具,部署简单且功能强大。可监控集群、配置集群、操作ES数据;下载网址:wget https://github.com/lmenezes/cerebro/releases/download/v0.8.5/cerebro-0.8.5.tgz解压文件:tar -zxvf cerebro-0.8.5.tgz启动cerebrocd 进入cerebro的bin目录...原创 2020-04-10 15:54:06 · 390 阅读 · 0 评论 -
Elasticsearch7.3.x启用x-pack验证
Elasticsearch7.3.x,x-pack已作为默认的插件集成在es里面了,无需在bin/elasticsearch-plugin install x-pack了,直接配置文件启用就可以了。相关配置如下:1:切换到es用户下,使用下面命令生成证书bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -...原创 2020-01-14 14:36:41 · 1476 阅读 · 0 评论 -
elasticsearch-7.3.1部署过程的坑
部署elasticsearch-7.3.1,一直启动不了,一直报错。ERROR: bootstrap checks failedsystem call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk原因:...原创 2020-01-14 10:59:50 · 432 阅读 · 0 评论 -
Elasticsearch7.3.1启动指定JDK11
虚拟机开发环境的jdk是1.8,在启动Elasticsearch7.3.1的时候,启动日志会有如下信息:uture versions of Elasticsearch will require Java 11; your Java version from [/opt/jdk1.8.0_211/jre] does not meet this requirementes和jdk有着对应的依赖关...原创 2020-01-13 13:42:12 · 6146 阅读 · 2 评论 -
Elasticsearch配置参数说明
参数 说明cluster.name: ES ES集群名称,同一个集群内的所有节点集群名称必须保持一致node.name: slave2 ES集群内的节点名称,同一个集群内的节点名称要具备唯一性node.master: true 允许节点是否可以成为一个master节点,ES是默认集群中的第一台机器成为master,如果这台机器停止就会重新选举node.data: false 允许该节点存储...原创 2020-01-13 13:26:33 · 382 阅读 · 0 评论 -
elasticsearch-7.3.1集群搭建
1、es介绍ElasticSearch是一个基于Lucene的搜索服务器。提供了分布式多用户的全文搜索引擎,用Java语言开发的,Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。包含如下特性:分布式高可用搜索引擎:每个索引都可以配置分片的数量。每个分片都有一个或多个副本且分片都支持读写多租户:支持多个索引以及索引级配置,如碎片数、索引存储等。提供各种API:包括HTTP...原创 2020-01-13 13:24:15 · 843 阅读 · 0 评论 -
Elasticsearch之ThreadPool部分
Elasticsearch 内部使用了线程池,通过这些线程池之间的合作完成工作。一般不需要调整和优化线程池。但线程池的状态,有利于你掌握集群行为。线程池格式:“index”: {“threads”: 1,“queue”: 0,“active”: 0,“rejected”: 0,“largest”: 1,“completed”: 1}每个线程都列出了配置的线程数,活动的线程是正在...翻译 2020-01-09 19:21:12 · 1970 阅读 · 0 评论