ES TCP客户端方式自动映射mapping写入异常

最新推荐文章于 2022-07-01 11:02:06 发布
最新推荐文章于 2022-07-01 11:02:06 发布
阅读量385 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPlus_SS/article/details/112972544
版权
在同步HDFS数据到ES时，发现同步时间异常增长，经排查，问题出在ES的TCP客户端自动映射上。当数据字段`s23`为空时，ES会将其解析为date类型，导致写入异常。解决方案是预先指定索引mapping，避免数据丢失和性能影响。问题初期因TCP API错误日志未在客户端显示，造成排查困难。
摘要由CSDN通过智能技术生成

最近遇到一个比较怪异的问题:
一个从HDFS读取计算好的数据写入ES的任务,3E条(134.6G)左右的数据量,正常同步时间为36min左右,但是时不时出现同步时间翻了好几倍的情况
在这里插入图片描述

首先怀疑是hadoop集群或者spark资源分配问题,(因为之前出现过集群配置问题导致读取HDFS文件慢的问题)于是在同步任务同时间做了一些读取相同文件夹下相同文件注释掉写入ES操作的测试:

在这里插入图片描述
发现读取HDFS文件都是40s左右,排除读取文件的原因
同时观察到ES集群在写入的时间,
网络流量较高(左边框是1月29日慢的时候,右边框是1月30日正常情况)
在这里插入图片描述
IO很低
在这里插入图片描述
建立的TCP连接一直不释放,访问ES集群相应也很慢
在运维的协助下查看日志
发现任务线程有很多同步锁等待的情况,怀疑是多线程切换问题,
于是由原来的30个excutor 每个excutor 3核改为申请100个excutor 每个excutor 1核 (30个excutor就是开启30个yarn container = 开启30个JVM执行任务 3核就是每个JVM分配三个执行线程 共有90个task可以同时执行)

最低0.47元/天 解锁文章
SPlus_SS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ambassador系列-07-TCP映射TCPMapping
twingao的专栏
01-01 1281
Ambassador除了支持7层的HTTP，GRPC和Websocket，也可以通过TCPMapping支持4层的TCP连接。 我们先部署一MySQL上游服务，MySQL不对外暴露NodePort，让Ambassador代理对MySQL的访问。 先修改Ambassador的Deployment，将3306 容器端口放开。 vi ambassador-rbac.yaml kind: Deployme...
端口映射工具_TCPMAPPING
08-25
1.本工具的是一款简单的安装在window系统上的端口映射工具。 2.使用场景，当一台windows可以访问公司内网，同时也有公网IP地址，就可以将内网某个IP提供的端口映射为公网IP上的端口。比如内网IP为192.168.100.4的服务器提供了80端口的web服务，windows7的公网IP为220.45.23.178,就可以将192.168.100.4:80 映射为 220.45.23.178:20080(20080可以修改为任意未使用的端口)
TCP端口映射与转发软件(TCP Mapping)简介
热门推荐
hirobot51的博客
08-13 1万+
　　《TCP Mapping》可用于各种TCP端口的映射与转发。端口映射主要用于方便快捷地部署服务器，端口转发可用于访问任何没有公网IP的电脑和设备，基于TCP/IP协议的电脑或设备都可以通过互联网访问，如可用于将内网FTP、Telnet、远程桌面、数据库服务器、物联网设备、旺铺理财宝等各种行业软件部署到互联网。 　　只要在内网电脑上运行《TCP Mapping》客户端，将任何基于TCP/IP协...
关于 Elasticsearch 的tcp请求和http请求
fly_Robert的博客
05-26 3812
在安装es（单机/集群）数据库的时候，我们在 elasticsearch.yaml 文件中配置了两个端口号。一个是配置 http.port 的时候设置了一个9200，另一个是discovery.zen.ping.unicast.hosts 中设置了9300，那么对于两个端口号该如何使用呢？ http.port 顾名思义就是在使用http请求的使用的端口号，而9300是tcp请求使用的端口号，所以我们需要分清楚，在浏览器中访问es的时候是http请求需要使用9200端口号，而在java等程序连接es的时候是属
ES接数据时索引类型对不上报错:failed to find geo_point field [geoPointFiled]
陈一一同学的博客
12-24 2396
es接数据类型对不上报错
TCPMapping端口映射工具.rar
09-02
TCPMapping端口映射工具.rar
tcpmapping端口映射工具
10-12
TCP Mapping一款外网到内网的TCP/IP端口映射工具。转发工具。感觉最好用最稳定的一款端口工具了。 当在因特网上需要访问局域网内的机器时，可以在局域网的网关上运行此程序，映射TCP端口到局域网内的某台机器的指定...
arcgis-elasticSearch-es-矢量数据导入插件-数据建模-mapping-indexsetting-字段映射
06-29
arcgis elasticSearch es 矢量数据导入插件 数据建模 mapping indexsetting 字段映射 索引建模支持geoshape、shape，text索引支持keyword/ngram/edgeNgram/ikSmart，快速导入，兼容multipolygon，带洞，多面，使用时...
使用Chatgpt实现data mapping多种映射方式举例
最新发布
02-27
数据映射（Data Mapping）是将数据从一个结构或格式转换到另一个结构或格式的过程，广泛应用于数据库集成、数据迁移、数据分析等领域。在现代IT环境中，ChatGPT作为一个强大的自然语言处理工具，可以辅助我们进行...
TCP Mapping（端口映射工具）
11-25
TCP Mapping一款外网到内网的TCP/IP端口映射工具。转发工具。感觉最好用最稳定的一款端口工具了
局域网端口映射的工具 tcpmapping
01-16
主要用途就是可以在局域网的网关上运行本程序，将网关服务器的某个端口（如8081）映射为局域网中某台机器的某个端口（如80），这样，局域网外部访问网关服务器的8081端口就相当于访问了局域网内部某台机器的80端口了
tcp端口映射器
12-29
tcp端口映射，非常好用的端口映射器，效率非常高，已通过测试
tcpmapping（端口映射软件）
05-09
电脑端口映射软件，解压文件后，点击里面的可执行程序即可直接运行，在配置界面里可以配置要映射的远程服务器的ip地址和远程服务器的端口号以及映射到本地机器的端口号。
es 针对mapping Date类型错误解决
Ch3nnn的博客
12-17 2960
在线上遇到一个问题, 爬虫数据取的发布时间是时间戳,需要转换日期, 但是有些数据是脏数据, 转换成日期可能是这个样子"001-10-1"一看就不符合日期格式, 但是在写入es数据是会报出错误 failed to parse field [approval_time] of type [date] 没办法 只能将这个字段类型改一下修改的mapping 将 approval_time 改...
查看es的tcp和http端口
qq_41673075的博客
02-25 7432
1、登录linux部署服务器，用命令查找配置文件elasticsearch.yml，如图 find -name elasticsearch.yml 2、进到elasticsearch.yml文件的目录 3、查看tcp，http端口
ES dynamic mapping（动态映射）
悟能的师兄的专栏
09-30 3280
今天有小伙伴问，Elasticsearch 索引里面的mapping 设置 dynamic = true是什么意思？ 一：ESmapping dynamic是做什么用的 Mapping中的字段类型一旦设定后，禁止直接修改，原因是：Lucene实现的倒排索引生成后不允许修改 只能新建一个索引，然后reindex数据 默认允许新增字段 通过dynamic参数来控制字段的新增： true（默认）允许自动新增字段，但是mapping不显示，查询返回JSON有 false 不允许自动新增字段，但是..
ElasticSearch集群搭建
JSUITDLWXL的博客
07-01 495
ES集群是一个P2P类型（使用gossip协议）的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给那些节点，并且直接跟这些节点通信。所以从网络架构及服务配置上来说，构建集群所需要的配置及其简单。在ES2.0之前，无阻碍的网络下，所有配置了相同的节点都自动归属到一个集群中。2.0版本之后，基于安全的考虑避免开发环境过于随便造成的麻烦，从2.0版本开始，默认的自动默认的发现方式改为了广播（unicast）方式。配置里提供几台节点的地址。ES将其视作
ES-TCPTransport 3 - ES通信协议解析
lyle2000w的专栏
07-07 4584
1.wireshark提取数据elasticsearch协议包设置抓取本机通信包： a.以管理员身份打开命令提示符 b.输入 route add [本机ip] mask 255.255.255.255 [网关ip] c.将我们程序里面的localhost或者127.0.0.1替换成本机ip 提取数据包信息：使用程序发送es协议进行通信 - a.打开抓取整个系统包： - b.过滤获取ela
java创建mapping_ElasticSearch使用Java客户端创建索引index和映射mapping
06-02
使用Java客户端创建索引和映射，需要连接Elasticsearch服务器，并使用Elasticsearch Java API进行操作。以下是一个简单的示例代码，用于创建索引和映射： ```java import org.elasticsearch.action.admin.indices....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值