Elasticsearch
文章平均质量分 68
Ch3nnn
这个作者很懒,什么都没留下…
展开
-
使用 go-elasticsearch v8 基本请求
使用 go-elasticsearch 请求示例找到简单的示例,所以我认为先看看这个是个好主意。连接客户端有两种方式,如下图。至于两者的特点,TypedClient有类型,更容易编写,但文档较少。另外,批量索引不支持TypedClient。由于普通客户端都是基于json的,所以我觉得从文档转换到代码还是比较容易的。我的建议基本上是使用 TypedClient!原创 2024-01-02 16:19:14 · 1223 阅读 · 0 评论 -
百亿级实时计算系统性能优化–—Elasticsearch篇
导语 | 随着业务的发展,系统日益复杂,功能愈发强大,用户数量级不断增多,设备cpu、io、带宽、成本逐渐增加,当发展到某个量级时,这些因素会导致系统变得臃肿不堪,服务质量难以保障,系统稳定性变差,耗费相当的人力成本和服务器资源。这就要求我们:要有勇气和自信重构服务,提供更先进更优秀的系统。文章作者:刘敏,腾讯基础架构研发工程师。前言自今年三月份以来天机阁用户数快速上涨,业务总体接入数达到1000+,数据进入量更是迎来了爆发式上涨,日均处理量上涨了一个数量级:Trace数据峰值处理量达到340亿/原创 2021-12-07 15:56:10 · 811 阅读 · 0 评论 -
Springboot 展示 IP维度热力图 Filebeat Nginx日志 写入Elasticsearch
版本springboot 2.3.1.RELEASEspring-data-elasticsearch 4.0.1.RELEASEelasticsearch 7.6.2Filebeat 7.6.2Kibana 7.6.2Kibana 查询 filebeat写入es nginx日志数据GET filebeat-7.6.2-2021.10.14-000001/_search{ "size": 0, "query": { "match": { "source.geo原创 2021-10-15 17:07:05 · 322 阅读 · 0 评论 -
Filebeat收集Nginx日志
下载地址1、查看Filebeat支持模块./filebeat modules list2、启动Nginx模块启动命令:./filebeat modules enable nginx禁用命令:./filebeat modules disable nginx3、查看modules.d目录中的文件,可以看到nginx.yml配置文件,证明nginx module模块已开启ls modules.d/4、配置modules.d/nginx.yml文件,指定access.log 和 error.原创 2021-10-15 16:28:33 · 959 阅读 · 0 评论 -
Django Elasticsearch DSL
Django Elasticsearch DSL是一个软件包,允许在elasticsearch中索引Django模型。它是作为Elasticsearch-dsl-py的薄包装而构建的,因此您可以使用elasticsearch-dsl-py团队开发的所有功能。功能 基于elasticsearch-dsl-py,因此您可以使用Search类进行查询。 Django信号接收器处于保存和删除状态,以保持Elasticsearch同步。 用于创建,删除,重建和填充索引的管理命令。..原创 2021-01-15 10:24:06 · 1354 阅读 · 0 评论 -
Docker部署elk + filebeat监控服务日志
准备docker镜像elk:sebp/elk latestdocker pull sebp/elksebp/elk 文档说明https://elk-docker.readthedocs.io/filebeat: filebeat-:7.9.3docker pull elastic/filebeat:7.9.3使用以下命令从映像运行容器:$ sudo docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --na...原创 2020-11-19 18:12:26 · 613 阅读 · 0 评论 -
elasticsearch分组并获得分组里面的结果 group_concat
GET /test_index/_search{ "size": 0, "query": { "match_phrase": { "legalpersonname": "李斌" //搜索名称为李斌 } }, "aggs": { "name": { "terms": { "field": "legalpersonname.keyword" // 根据姓名分组 }, "aggs": { .原创 2020-06-28 15:16:54 · 3447 阅读 · 1 评论 -
Elasticsearch分页解决方案
Elasticsearch分页解决方案一、命令的方式做分页1、常见的分页方式:from+sizeelasticsearch默认采用的分页方式是from+size的形式,但是在深度分页的情况下,这种使用方式的效率是非常低的,比如from=5000,size=10,es需要在各个分片上匹配排序并得到5000*10条有效数据,然后在结果集中取最后10条数据返回。除了会遇到效率上的问题,还有一个无法解决的问题是es目前支持最大的skip值是max_result_window默认为10000,也就是说当f原创 2020-05-26 18:21:33 · 626 阅读 · 0 评论 -
Logstatsh数据同步-Mysql同步ES
1.获取Logstash模板GET http://10.0.0.219:9200/_template/logstash2.在sync目录下创建logstash-ik.json,将logstash模板修改后粘贴其中。修改前:{ "logstash": { "order": 0, "version": 60001, "index_patterns": [ "logstash-*" ],原创 2020-05-15 16:46:10 · 518 阅读 · 4 评论 -
使用 Logstash 同步 Mysql 数据到 ES
需求假设我们要迁移歌曲表song,表结构如下:-- table songid bigint(28) auto_increment comment 'id' primary key,program_series_id bigint(28) not null comment '节目集id',program_series_name varchar(256) null comment '节目集名称',program_id原创 2020-05-13 15:23:25 · 1140 阅读 · 0 评论 -
ES三节点重启后-timed out while waiting for initial discovery state - timeout: 30s
问题中台同事突然反馈说线上的查询很慢, 去查看集群资源内存爆满, 发现整个服务器操作都很卡, 集群服务都是物理机虚拟化, 本以为物理服务器资源满了, 无奈之下想重启清文件缓存. 集群我想着既然是集群一台一台重启应该不会有问题的,太高估了,重启一台后,服务器直接起不来......操作过程1、系统[centos@ip-172-0-0-233 bin]$ cat /etc/re...原创 2020-04-16 10:51:25 · 3061 阅读 · 0 评论 -
Python操作Elasticsearch对象
Python操作Elasticsearch对象操作几个方面结果过滤,对于返回结果做过滤,主要是优化返回内容。 直接操作elasticsearch对象,处理一些简单的索引信息。一下几个方面都是建立在es对象的基础上。 Indices,关于索引的细节操作,比如创建自定义的mappings。 Cluster,关于集群的相关操作。 Nodes,关于节点的相关操作。 Cat API,换一种...原创 2020-02-14 17:44:31 · 668 阅读 · 0 评论 -
docker 安装 elasticsearch-dump 数据迁移工具
文档:dockerhup-elastucsearch-dumpDocker installdocker pull taskrabbit/elasticsearch-dump官方例子# 使用映射将索引从生产复制到暂存:docker run --rm -ti taskrabbit/elasticsearch-dump \ --input=http://produ...原创 2020-01-07 20:03:50 · 1271 阅读 · 0 评论 -
Elasticsearch内存那些事儿
前言「该给 ES 分配多少内存?」「为什么是给 ES 分配服务器的一半内存?」「为什么内存使用率不断升高,没有释放?」「为何经常有某个 field 的数据量超出内存限制的异常?」「为何感觉上没多少数据,也会经常 Out Of Memory?」相信每个ES使用者或者运维人员都遇到过这些问题,也踩过不少坑。这里根据我个人的学习和日常工作的使用心得,谈一谈 Elasticsearch...原创 2020-01-06 16:34:13 · 5468 阅读 · 0 评论 -
Elasticsearch内存占用过高
Elasticsearch默认安装后设置的内存是1GB,对于任何一个现实业务来说,这个设置都太小了。如果你正在使用这个默认堆内存配置,你的集群配置可能会很快发生问题。这里有两种方式修改Elasticsearch的堆内存(下面就说内存好了),最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量,并相应的设置堆的大小。设置命令如下:export...原创 2020-01-06 15:34:08 · 24831 阅读 · 1 评论 -
es 针对mapping Date类型错误解决
在线上遇到一个问题, 爬虫数据取的发布时间是时间戳,需要转换日期, 但是有些数据是脏数据, 转换成日期可能是这个样子"001-10-1"一看就不符合日期格式, 但是在写入es数据是会报出错误failed to parse field [approval_time] of type [date]没办法 只能将这个字段类型改一下修改的mapping 将 approval_time 改...原创 2019-12-17 20:37:28 · 2987 阅读 · 0 评论 -
Elasticsearch 6.5 集群健康值红色
1、集群状态解读head插件会以不同的颜色显示。1)、绿色——最健康的状态,代表所有的主分片和副本分片都可用;2)、黄色——所有的主分片可用,但是部分副本分片不可用;3)、红色——部分主分片不可用。(此时执行查询部分数据仍然可以查到,遇到这种情况,还是赶快解决比较好。)参考官网:http://t.cn/RltLEpN(部分中文集群健康状态博文资料翻译的不够精确,以官网为准)如果集群...原创 2019-12-16 17:50:40 · 606 阅读 · 0 评论 -
es设置JVM堆大小
设置堆大小默认情况下,Elasticsearch告诉JVM使用最小和最大大小为1 GB的堆。在进入生产阶段时,配置堆大小以确保Elasticsearch有足够的可用堆非常重要。Elasticsearch将通过(最小堆大小)和(最大堆大小)设置分配jvm.options中指定的整个堆。XmsXmx这些设置的值取决于服务器上可用的RAM数量。好的经验法则是:将最小堆大小...原创 2019-12-16 11:23:00 · 4203 阅读 · 0 评论 -
es _update_by_query 查询
POST invest_2019-12-11/_update_by_query{ "query":{ "term":{ "_id":"XdiV824B-q-6m63f50vB" } }, "script":{ "source":"ctx._source.pro_content=params.pro_content", "params":{...原创 2019-12-11 19:35:44 · 3080 阅读 · 0 评论 -
第一节、ES常用的查询语法(6种)
1、query string searchGET /index/type/_search?q=name:zhangsan&sort=age:desc2、query DSL(Domain Sepcified Language)1)查询所有结果GET /index/type/_search{ "query":{"match_all":{}}}2)根据条件查...原创 2019-11-26 11:49:45 · 1028 阅读 · 0 评论 -
ES常见启动错误
我遇见的es启动问题汇总:max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]原因:最大虚拟内存太小解决方案:切换到root用户下,修改配置文件sysctl.confvi /etc/sysctl.conf添加下面配置:vm.max_ma...原创 2019-11-19 15:07:11 · 1496 阅读 · 0 评论 -
ES中相关性简介及相关行评分标准
每个文档都有相关性评分,用一个相对的浮点数字段 _score来表示 – _score 的评分越高,相关性越高。查询语句会为每个文档添加一个 _score 字段。评分的计算方式取决于不同的查询类型 – 不同的查询语句用于不同的目的:fuzzy 查询会计算与关键词的拼写相似程度,terms查询会计算 找到的内容与关键词组成部分匹配的百分比,但是一般意义上我们说的全文本搜索是指计算内容与关键词的类似程...原创 2019-11-12 12:15:55 · 1215 阅读 · 0 评论 -
Kibana 5.x-6.x的任意版本中文汉化
一、Kibana中文汉化,适用于Kibana 5.x-6.x的任意版本,操作之前请提前备份1、Github仓库下载kibana中文汉化包git clonehttps://github.com/anbai-inc/Kibana_Hanization.git#如果下载较慢,可以下载此文件wgethttps://mirrors.yangxingzhen.com/kibana/Ki...原创 2019-10-28 19:48:32 · 3662 阅读 · 1 评论 -
docker搭建es集群基础配置
现有环境: 采用VM虚拟机模拟不同服务器两台centos, 一台ubuntudocker 的es镜像elasticsearch:6.5.3运行的镜像参数docker run -d --restart=always --name es -p 9200:9200 -p 9300:9300 -v /home/chentong/es/elasticse...原创 2019-10-28 17:33:03 · 1454 阅读 · 0 评论 -
elasticsearch6 配置篇
elasticsearch.yml官网:https://www.elastic.co/guide/en/elasticsearch/reference/current/modules.html################################### Cluster #################################### 代表一个集群,集群中有多个节点,其中...原创 2019-10-25 19:42:28 · 557 阅读 · 0 评论 -
elasticsearch7 配置篇
学习了这么多,终于开始搭建生产环境了,这一篇主要讲解配置项,以及支持中文分词的ik安装,集群的搭建。配置项确实挺多的,但把几个常用配置熟悉就好,而且就像elasticsearch官方文档所说,不存在某个使得性能大幅度提升的配置。配置项一下子看到这么多配置项,可能就吓坏了,不要怕,用到的并不多。cluster.name: elasticsearch# 配置的集群名称,默认是elas...原创 2019-10-25 19:23:17 · 1400 阅读 · 0 评论 -
ES问题max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
docker 运行es是会发现没有运行docker logs 7bb8ff0f76a8查看es日志发现标红的错误OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future relea...原创 2019-10-25 16:38:04 · 443 阅读 · 0 评论 -
Elasticsearch权威指南-学习笔记3
高亮我们的搜索很多应用喜欢从每个搜索结果中高亮(highlight)匹配到的关键字,这样用户可以知道为什么这些文档和查询相匹配。在Elasticsearch中高亮片段是非常容易的。让我们在之前的语句上增加highlight参数:GET /megacorp/employee/_search{ "query" : { "match_phrase" : { ...原创 2019-10-24 19:15:52 · 276 阅读 · 0 评论 -
Elasticsearch权威指南-学习笔记2
轻量搜索一个GET是相当简单的,可以直接得到指定的文档。现在尝试点儿稍微高级的功能,比如一个简单的搜索!第一个尝试的几乎是最简单的搜索了。我们使用下列请求来搜索所有雇员:GET /megacorp/employee/_search可以看到,我们仍然使用索引库megacorp以及类型employee,但与指定一个文档 ID 不同,这次使用_search。返回结果包...原创 2019-10-24 18:10:54 · 154 阅读 · 0 评论 -
Elasticsearch权威指南-学习笔记1
和 Elasticsearch 交互编辑和 Elasticsearch 的交互方式取决于你是否使用 JavaJava API编辑如果你正在使用Java,在代码中你可以使用 Elasticsearch 内置的两个客户端:节点客户端(Node client)节点客户端作为一个非数据节点加入到本地集群中。换句话说,它本身不保存任何数据,但是它知道数据在集群中的哪个节点中,并且可以...原创 2019-10-24 17:44:27 · 255 阅读 · 0 评论 -
ES中批量查询与_bulk的批量增删改操作
1、批量查询批量查询的好处比如说要查询100条数据,那么就要发送100次网络请求,这个开销是很大的。如果进行批量查询的话,查询100条数据,就只要发送1次网络请求,网络请求的性能开销缩减100倍。-一条一条查询GET /test_index/test_type/1GET /test_index/test_type/2批量查询 (1)查询的数据在不同的index下的#...原创 2019-10-18 17:50:00 · 1695 阅读 · 0 评论 -
Elasticsearch增删改查-学习笔记3
ElasticSearch是一个高度可扩展的开源搜索引擎并使用REST API,所以您值得拥有。 在本教程中,将介绍开始使用ElasticSearch的一些主要概念。下载并运行ElasticSearchElasticSearch可以从elasticsearch.org下载对应的文件格式,如ZIP和TAR.GZ。下载并提取一个运行它的软件包之后不会容易得多,需要提前安装Java运行时环境。...原创 2019-10-18 17:04:45 · 212 阅读 · 0 评论 -
Elasticsearch环境安装配置-学习笔记2
安装Elasticsearch的步骤如下 -第1步 - 查看安装在计算机上的java的最低版本,它要求java 7或以上或最新的版本。可以通过执行以下操作进行检查 -在Windows操作系统(OS)(使用命令提示符) -java -versionBash在UNIX/Linux操作系统(使用终端) -$ echo $JAVA_HOMEBash第2步 - 从 w...原创 2019-10-17 21:00:14 · 116 阅读 · 0 评论 -
Elasticsearch介绍-学习笔记1
Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎,可以说 Lucene 是当今最先进,最高效的全功能开源搜索引擎框架。Elasticsearch是基于Apache Lucene的搜索服务器。它由Shay Banon开发并于2010年发布。现在是由Elasticsearch BV负责维护。其最新版本是:5.2.0。Elasticsea...原创 2019-10-17 20:56:25 · 246 阅读 · 0 评论