spark1.6+elasticsearch5.x 底层jar冲突

最新推荐文章于 2021-04-04 23:04:10 发布
最新推荐文章于 2021-04-04 23:04:10 发布
阅读量3.3k 收藏 2
点赞数 1
分类专栏： spark elasticsearch 文章标签： spark elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luyee2010/article/details/74907287
版权

spark1.6.3

elasticsearch 5.4


bulk api 


```

(Netty4Utils:117)-NoSuchMethodError io.netty.buffer.CompositeByteBuf.addComponents(ZLjava/lang/Iterable;)Lio/netty/buffer/CompositeByteBuf;
at org.elasticsearch.transport.netty4.Netty4Utils.toByteBuf(Netty4Utils.java:78)
at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:422)
at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:93)
at org.elasticsearch.transport.TcpTransport.internalSendMessage(TcpTransport.java:1058)
at org.elasticsearch.transport.TcpTransport.sendRequestToChannel(TcpTransport.java:1040)

```


解决方案


```

.put("transport.type","netty3")
.put("http.type", "netty3")

```

luyee2010
关注
专栏目录
BAT 大厂Java 面试题集锦之核心篇附参考答案
程序员光剑
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
吐血整理出来的大数据知识点，你掌握多少？
啊晨
08-28 2467
文章目录写在前面正片语言工具类Java实现线程的两种方式集合List集合ArrayListLinkedListSet集合HashSet二叉查找树TreeSetLinkedHashsetMap集合TreeMapHashTableJVM方法区：（被加载的信息，常量，静态变量编译后的代码等数据）虚拟机栈:（java方法服务，储存局部变量方法出口等）本地方法栈堆（对象实例创建，垃圾回收操作）程序计数器Java自带哪几种线程池？（4）HashMap和HashTable区别TreeSet和HashSet区别String
Spark的guava jar包版本冲突导致获取Elasticsearch连接失败
fengbonu的博客
03-09 3434
Spark集成Elasticsearch，在local下正常运行，提交到集群运行jar出现异常： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 4 times, most recent failure: Lost task 0.3 in stage 3.0...
spark1.6写入elasticserach5.4.3遇到的坑
jiangmeng0606的博客
01-23 460
由于公司运维部署的spark版本是1.6.3，而使用的elasticserach版本为5.4.3,在常识通过spark读取hive中数据写入到elastic search时，没有找到对应的包，一直都是报错。后来无意中google发现，spark和elastic search的包在maven中有三种 一：适用于spark1.3 1.6 插入到elasticserach 5.0.0-alpha4以前的...
spring-data-elasticsearch与netty版本冲突问题
weixin_42255427的博客
01-14 1155
具体问题是java.lang.IllegalStateException: availableProcessors is already set to [8], rejecting [8] 注：项目是springcloud-alibaba，es版本是6.6 springboot整合elasticsearch中使用到了spring-data-elasticsearch，之前自己写demo的时候没有问...
JAVA 连接ElasticSearch报netty冲突解决
deng9204的博客
12-25 840
Exceptioninthread"main"java.lang.VerifyError:(class:org/jboss/netty/channel/socket/nio/NioWorkerPool,method:newWorkersignature:(Ljava/util/concurrent/Executor;)Lorg/jboss/netty/channe...
解决spring-data-elasticsearch的netty包冲突
matt8的专栏
03-23 1605
netty4.0后，不再是jboss的一部分，包名从org.jboss.netty变更为io.netty jar包也被分割成了多个子模块，以便用户可以定制引入需要的子包。当前结构如下： Artifact ID Description netty-parent Maven parent POM netty-common Utility classes and lo...
Win10下安装Spark的尝试总结（尚未出坑）
weixin_42757820的博客
03-22 3070
今天尝试部署Spark（Win10环境），学习了很多很有帮助的文档。基本的次序也算了解了一些。但最后还是没有成功。后面继续努力吧。但学习了一些点还是值得记录下： 1-Spark类似Mysql Workbench、Navicat之类，是用来对接和分析数据的。当然比后者功能强大很多，后者更多是传统的数据查询、处理及转化等。但Spark可以进行机器学习、图形处理，对接Python、R等分析包。 （Spa...
配置文件大全
weixin_44443462的博客
07-03 1390
Spring和SpringMVC 1.pom.xml <!-- Spring和SpringMVC相关依赖 --> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-core</artifactId> <ve...
2021-02-26~27~28 大数据课程笔记 day37day38day39
qq_44745905的博客
02-28 3554
@R星校长 音乐数据中心平台 1.1 数据库与ER建模 1.1.1 数据库（DataBase） 数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。 1.1.2 数据库三范式 关系型数据库设计时，遵照一定的.
记第一次java连elasticsearch出现的问题
a923338627的博客
03-17 4308
public class Elasticseach { TransportClient client = null; public Elasticseach(){//根据官方文档得知，如果集群名称改变，则在设置中设成配置文件里上设置的名字 Settings settings = Settings.builder() .put("cluster...
spark和elasticsearch的整合
www.hohode.com
10-26 3144
下载jar包 https://www.elastic.co/downloads/hadoop将elasticsearch-spark_2.10-2.4.0.jar加入类路径里面 import org.elasticsearch.spark.sql._ // DataFrame schema automatically inferred val conf
java.lang.NoClassDefFoundError: org/elasticsearch/transport/Netty4Plugin
qq 117791303
04-04 1101
Exception in thread "main" java.lang.NoClassDefFoundError: org/elasticsearch/transport/Netty4Plugin at org.elasticsearch.transport.client.PreBuiltTransportClient.<clinit>(PreBuiltTransportClient.java:78) at ElasticsSearchUtil.cilentFactory...
elasticsearch transport 请求发送和处理
weixin_38166557的博客
03-10 731
前一篇分析对nettytransport的启动及连接，本篇主要分析transport请求的发送和处理过程。cluster中各个节点之间需要相互发送很多信息，如master检测其它节点是否存在，node节点定期检测master节点是否存储，cluster状态的发布及搜索数据请求等等。为了保证信息传输，elasticsearch定义了一个19字节长度的信息头HEADER_SIZE = 2 ...
elasticSearch spark支持
roykingw的专栏
09-26 8203
–Note：1、文章摘自elasticsearch官网，因为觉得再费力的总结，总不如官网的说明学习更快。 2、关于elasticSearch-hadoop组件：从目前的版本看(2017年9月26日)，从elasticsearch官网下载的elasticsearch_hadoop组件还只能基于scala 2.10.x 版本。而spark的2.1.X版本开始，已经基于scala2.11以上的版本进行开
如何使用Spark快速将数据写入Elasticsearch
Ricky点滴
12-11 9399
如何使用Spark快速将数据写入Elasticsearch 说到数据写入Elasticsearch，最先想到的肯定是Logstash。Logstash因为其简单上手、可扩展、可伸缩等优点被广大用户接受。但是尺有所短，寸有所长，Logstash肯定也有它无法适用的应用场景，比如： 海量数据ETL 海量数据聚合 多源数据处理 为了满足这些场景，很多同学都会选择Spark，借助Spark算子进行数据...
spark导入elasticsearch
qq_14950717的博客
08-15 6112
前面简单的介绍了elasticsearch。现在开始使用，当我们面对海量数据的时候，如果想把数据导入到es，肯定不能想以前那样单条导入，我使用的是spark导入到es的批量导入。第三方依赖包：这里写链接内容 可以到这里下载相应的依赖包解压使用。PS：在使用的时候一定要记得spark和scala以及es的对应关系，我使用的是spark1.6.2 ，scala使用的是2.10.4，在使用的时spark
[netty核心类]--缓冲区ByteBuf
热门推荐
惜暮
12-16 2万+
本文主要包括以下内容： 1）ByteBuf的三种类型：heapBuffer(堆缓冲区)、directBuffer(直接缓冲区)以及Composite Buffer(复合缓冲区)。 2）ByteBuf的工作原理。 3）ByteBuf与JDK中ByteBuffer的区别以及对比 4）ByteBuf的引用计数器实现类AbstractReferenceCountedByt
Linux 6.x 安装Elasticsearch 5.x 步骤与问题解决
本文档是关于在Linux 6.x系统上安装Elasticsearch 5.x的详细步骤，包括了从安装Java 8环境到解决Elasticsearch不能以root用户运行的问题，以及处理运行时可能遇到的警告。 在安装Elasticsearch之前，首先要确保系统...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值