ES TCP客户端方式自动映射mapping写入异常

最新推荐文章于 2024-07-25 16:52:28 发布
最新推荐文章于 2024-07-25 16:52:28 发布
阅读量385 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPlus_SS/article/details/112972544
版权
在同步HDFS数据到ES时，发现同步时间异常增长，经排查，问题出在ES的TCP客户端自动映射上。当数据字段`s23`为空时，ES会将其解析为date类型，导致写入异常。解决方案是预先指定索引mapping，避免数据丢失和性能影响。问题初期因TCP API错误日志未在客户端显示，造成排查困难。
摘要由CSDN通过智能技术生成

最近遇到一个比较怪异的问题:
一个从HDFS读取计算好的数据写入ES的任务,3E条(134.6G)左右的数据量,正常同步时间为36min左右,但是时不时出现同步时间翻了好几倍的情况
在这里插入图片描述

首先怀疑是hadoop集群或者spark资源分配问题,(因为之前出现过集群配置问题导致读取HDFS文件慢的问题)于是在同步任务同时间做了一些读取相同文件夹下相同文件注释掉写入ES操作的测试:

在这里插入图片描述
发现读取HDFS文件都是40s左右,排除读取文件的原因
同时观察到ES集群在写入的时间,
网络流量较高(左边框是1月29日慢的时候,右边框是1月30日正常情况)
在这里插入图片描述
IO很低
在这里插入图片描述
建立的TCP连接一直不释放,访问ES集群相应也很慢
在运维的协助下查看日志
发现任务线程有很多同步锁等待的情况,怀疑是多线程切换问题,
于是由原来的30个excutor 每个excutor 3核改为申请100个excutor 每个excutor 1核 (30个excutor就是开启30个yarn container = 开启30个JVM执行任务 3核就是每个JVM分配三个执行线程 共有90个task可以同时执行)

最低0.47元/天 解锁文章
SPlus_SS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Elasticsearch7.10搜索引擎RestHighLevelClient高级客户端整合Springboot基础教程
u013395802的博客
02-13 3443
网络上关于Elasticsearch搜索引擎的教程不少, 但大多数都是比较老旧的, 甚至包括Elasticsearch官网的教程也是很久没有更新, 再加上Elasticsearch本身升级过程中不断的抛弃老旧概念, 新版本完全不兼容旧版本, 所以老旧教程给新入门的童鞋带来很多困惑. 这里使用当前Elasticsearch最新版本7.10.2结合Springboot2.X版本, 使用http rest api接口和RestHighLevelClient高级客户端封装的一些常用接口给新到的童鞋一些参考. 一
ElasticSearch03_Mapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器
所得皆惊喜
10-23 1912
ElasticSearch03_Mapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器
ElasticSearch-学习笔记04【Java客户端操作索引库】
upward
02-10 2710
ElasticSearch-学习笔记04【Java客户端操作索引库】
商城项目18_esMapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器
所得皆惊喜
10-23 1108
商城项目18_esMapping字段映射、常用类型、数据迁移、ik分词器、自定义分词器
spark写入elasticsearch限流
寒夜
09-15 2342
文章目录1. spark 批量写入es2. java-spark写入elasticsearch3. es_hadoop的源码拓展1. MyEsSparkSQL2. MyEsDataFrameWriter 1. spark 批量写入es 正常情况下，我们的spark任务有写入es的需求的时候，我们都是使用ES_Hadoop。参考官方的这里，选择适合自己的版本，如果是hive,spark等都有用到的话可以直接配置 <dependency> <groupId>org.elasticse
ES的mapping配置详解
liuerchong的博客
03-25 7855
mapping的基本格式 { "mappings":{ "_doc":{ "_all":{ "enabled":false #默认情况，ElasticSarch自动使用_all所有的文档的域都会被加到_all中进行索引。可以使用"_all" : {"enabled":false} 开关禁用它。如果某个域不希望被加到_all中，可以使用"include_in_all":false关闭 },
springboot集成elasticsearch注意事项
热门推荐
yjclsx的博客
07-31 4万+
一、elasticsearch基础 　　这里假设各位已经简单了解过elasticsearch，并不对es进入更多的，更深层次的解释，如有必要，会在写文章专门进行es讲解。 　　Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 　　但是，Lucene只是一个...
【ElasticSearch从入门到放弃系列 六】Java客户端操作ElasticSearch
MaoLin Tian's Blog
08-20 400
我们知道ES的操作方式有两种，一种是http风格的，一种是tcp风格的，http风格的我们可以通过发送请求去进行索引的增删改查等操作、tcp风格的处理方式则需要我们编码去调用实现，由于ES本身是基于Lucene，而Lucene又是Java的开源搜索引擎，所以我们用Java语言去实现ES的调用。 环境配置 创建一个带有Maven的Java项目，添加Jar包并引入Maven的坐标 <!--指定编译来源为jdk1.9--> <properties> <m
一篇掌握Elasticsearch7.10集群搭建到实战
caizi1288的专栏
12-01 1589
elasticsearch集群搭建到sdk封装
端口映射工具_TCPMAPPING
08-25
1.本工具的是一款简单的安装在window系统上的端口映射工具。 2.使用场景，当一台windows可以访问公司内网，同时也有公网IP地址，就可以将内网某个IP提供的端口映射为公网IP上的端口。比如内网IP为192.168.100.4的...
TCPMapping端口映射工具.rar
09-02
TCPMapping端口映射工具.rar
tcpmapping端口映射工具
10-12
TCP Mapping一款外网到内网的TCP/IP端口映射工具。转发工具。感觉最好用最稳定的一款端口工具了。 当在因特网上需要访问局域网内的机器时，可以在局域网的网关上运行此程序，映射TCP端口到局域网内的某台机器的指定...
arcgis-elasticSearch-es-矢量数据导入插件-数据建模-mapping-indexsetting-字段映射
06-29
arcgis elasticSearch es 矢量数据导入插件 数据建模 mapping indexsetting 字段映射 索引建模支持geoshape、shape，text索引支持keyword/ngram/edgeNgram/ikSmart，快速导入，兼容multipolygon，带洞，多面，使用时...
使用Chatgpt实现data mapping多种映射方式举例
02-27
数据映射（Data Mapping）是将数据从一个结构或格式转换到另一个结构或格式的过程，广泛应用于数据库集成、数据迁移、数据分析等领域。在现代IT环境中，ChatGPT作为一个强大的自然语言处理工具，可以辅助我们进行...
Git教程
qq_62892403的博客
07-24 843
基本的Linux命令学习Git配置所有的配置文件都保存在本地查看不同级别的配置文件查看Git用户标识表示Git没有配置设置用户名和邮箱（用户标识，必要）当你安装Git后首页要做的事情就是设置你的用户名和e-mail地址，这很重要，因为每次Git提交都会使用该信息。它被永远的嵌入到你的提交中只需要做一次这个设置，如果你传递了–global选项，因为Git将总是会使用该信息来处理你的系统中所做的一切操作。
Git操作指令（随时更新）
hsx18787462705的博客
07-24 511
【代码】Git操作指令。
git的配置使用
2302_77997809的博客
07-25 916
root@web yy000]# git config --global user.email 123456789@163.com //添加邮箱。[root@web yy000]# git config --global user.name cc //添加用户。[root@web yy000]# git commit -m "这是第二次提交" //说明。[root@web yy000]# echo "//这是一行java注释" > Test.java。
qt练习控件label控件-lineEdit控件样例代码
最新发布
07-30
qt练习控件label控件-lineEdit控件样例代码
java创建mapping_ElasticSearch使用Java客户端创建索引index和映射mapping
06-02
好的，我可以帮你回答这个问题。 使用Java客户端创建索引和映射，需要连接Elasticsearch服务器，并使用Elasticsearch Java API进行操作。以下是一个简单的示例代码，用于创建索引和映射： ```java import org.elasticsearch.action.admin.indices.create.CreateIndexRequest; import org.elasticsearch.action.admin.indices.mapping.put.PutMappingRequest; import org.elasticsearch.client.RequestOptions; import org.elasticsearch.client.RestHighLevelClient; import org.elasticsearch.common.xcontent.XContentBuilder; import org.elasticsearch.common.xcontent.XContentFactory; import org.elasticsearch.common.xcontent.XContentType; import org.elasticsearch.common.xcontent.json.JsonXContent; import java.io.IOException; public class ElasticSearchIndexAndMapping { private static final String INDEX_NAME = "example_index"; private static final String TYPE_NAME = "example_type"; public static void main(String[] args) throws IOException { RestHighLevelClient client = new RestHighLevelClient(/* your Elasticsearch client configuration */); // Create index request CreateIndexRequest request = new CreateIndexRequest(INDEX_NAME); // Create index mapping XContentBuilder builder = XContentFactory.jsonBuilder(); builder.startObject(); { builder.startObject("properties"); { builder.startObject("field1"); { builder.field("type", "text"); } builder.endObject(); } builder.endObject(); } builder.endObject(); // Put mapping request PutMappingRequest mappingRequest = new PutMappingRequest(INDEX_NAME); mappingRequest.type(TYPE_NAME); mappingRequest.source(builder); // Execute requests client.indices().create(request, RequestOptions.DEFAULT); client.indices().putMapping(mappingRequest, RequestOptions.DEFAULT); client.close(); } } ``` 在此示例中，我们使用了 `CreateIndexRequest` 和 `PutMappingRequest` 类来创建索引和映射。我们首先创建了一个名为 `example_index` 的索引，并指定了一个名为 `example_type` 的类型。然后，我们使用 `XContentBuilder` 来构建映射。在此示例中，我们只创建了一个名为 `field1` 的字段，并将其类型设置为 `text`。最后，我们使用 `RestHighLevelClient` 来执行创建索引和映射的请求。 请注意，以上示例仅表示如何创建索引和映射。如果您需要更详细的功能，例如添加文档或查询索引，请查看Elasticsearch Java API文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值