Spark 使用 Redisson 读写 Redis 集群遇到的相关问题及解决办法

已于 2023-03-23 10:34:59 修改
阅读量3k 收藏 3
点赞数
分类专栏： Spark Redisson 文章标签： Spark Redisson Netty
于 2019-10-14 14:40:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43215250/article/details/102547650
版权
  1. 遇到的相关问题
    1. 问题一:

      由于Spark2 环境使用的 netty-all-4.0.43.Final.jar 与 redisson 中的 netty-all-4.1.41.Final.jar 冲突，直接将 redisson 的 jar 包打包进项目中运行会报以下异常。

      Exception in thread "streaming-job-executor-0" java.lang.NoSuchMethodError: io.netty.util.internal.StringUtil.indexOfNonWhiteSpace(Ljava/lang/CharSequence;I)I
    at io.netty.resolver.dns.UnixResolverDnsServerAddressStreamProvider.parse(UnixResolverDnsServerAddressStreamProvider.java:175)
    at io.netty.resolver.dns.UnixResolverDnsServerAddressStreamProvider.<init>(UnixResolverDnsServerAddressStreamProvider.java:94)
    at io.netty.resolver.dns.UnixResolverDnsServerAddressStreamProvider.<init>(UnixResolverDnsServerAddressStreamProvider.java:128)
    at io.netty.resolver.dns.UnixResolverDnsServerAddressStreamProvider.parseSilently(UnixResolverDnsServerAddressStreamProvider.java:70)
    at io.netty.resolver.dns.DnsServerAddressStreamProviders$1.provider(DnsServerAddressStreamProviders.java:57)
    at io.netty.resolver.dns.DnsServerAddressStreamProviders$1.<init>(DnsServerAddressStreamProviders.java:36)
    at io.netty.resolver.dns.DnsServerAddressStreamProviders.<clinit>(DnsServerAddressStreamProviders.java:34)
    at org.redisson.connection.MasterSlaveConnectionManager.<init>(MasterSlaveConnectionManager.java:208)
    at org.redisson.cluster.ClusterConnectionManager.<init>(ClusterConnectionManager.java:94)
    at org.redisson.config.ConfigSupport.createConnectionManager(ConfigSupport.java:200)
    at org.redisson.Redisson.<init>(Redisson.java:120)
    at org.redisson.Redisson.create(Redisson.java:160)
    at com.hdjt.bigdata.passengerFlow.RedissonUtils$.getRedissonClient(RedissonUtils.scala:30)
    at com.hdjt.bigdata.passengerFlow.RedissonUtils$.getRedissonClient(RedissonUtils.scala:16)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$$anonfun$main$1.apply(PassengerFlowMatchApp.scala:64)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$$anonfun$main$1.apply(PassengerFlowMatchApp.scala:58)
    at org.apache.spark.streaming.dstream.DStream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:628)
    at org.apache.spark.streaming.dstream.DStream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:628)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.DStream.createRDDWithLocalProperties(DStream.scala:416)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply$mcV$sp(ForEachDStream.scala:50)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply(ForEachDStream.scala:50)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply(ForEachDStream.scala:50)
    at scala.util.Try$.apply(Try.scala:192)
    at org.apache.spark.streaming.scheduler.Job.run(Job.scala:39)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply$mcV$sp(JobScheduler.scala:257)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply(JobScheduler.scala:257)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply(JobScheduler.scala:257)
    at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler.run(JobScheduler.scala:256)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
19/10/14 13:52:20 INFO scheduler.JobScheduler: Added jobs for time 1571032340000 ms
19/10/14 13:52:20 INFO scheduler.JobScheduler: Starting job streaming job 1571032340000 ms.0 from job set of time 1571032340000 ms
Exception in thread "streaming-job-executor-1" java.lang.NoClassDefFoundError: Could not initialize class io.netty.resolver.dns.DnsServerAddressStreamProviders
    at org.redisson.connection.MasterSlaveConnectionManager.<init>(MasterSlaveConnectionManager.java:208)
    at org.redisson.cluster.ClusterConnectionManager.<init>(ClusterConnectionManager.java:94)
    at org.redisson.config.ConfigSupport.createConnectionManager(ConfigSupport.java:200)
    at org.redisson.Redisson.<init>(Redisson.java:120)
    at org.redisson.Redisson.create(Redisson.java:160)
    at com.hdjt.bigdata.passengerFlow.RedissonUtils$.getRedissonClient(RedissonUtils.scala:30)
    at com.hdjt.bigdata.passengerFlow.RedissonUtils$.getRedissonClient(RedissonUtils.scala:16)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$$anonfun$main$1.apply(PassengerFlowMatchApp.scala:64)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$$anonfun$main$1.apply(PassengerFlowMatchApp.scala:58)
    at org.apache.spark.streaming.dstream.DStream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:628)
    at org.apache.spark.streaming.dstream.DStream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:628)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.DStream.createRDDWithLocalProperties(DStream.scala:416)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply$mcV$sp(ForEachDStream.scala:50)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply(ForEachDStream.scala:50)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply(ForEachDStream.scala:50)
    at scala.util.Try$.apply(Try.scala:192)
    at org.apache.spark.streaming.scheduler.Job.run(Job.scala:39)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply$mcV$sp(JobScheduler.scala:257)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply(JobScheduler.scala:257)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply(JobScheduler.scala:257)
    at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler.run(JobScheduler.scala:256)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
    2. 问题二:

      先将与 netty 相关的 jar 从 redisson 的 jar 包排除(方法如下), 再将项目打包并提交运行，会报异常信息如下。

      排除 netty 相关的 jar

      <dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson</artifactId>
    <exclusions>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-common</artifactId>
        </exclusion>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-codec</artifactId>
        </exclusion>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-codec-dns</artifactId>
        </exclusion>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-buffer</artifactId>
        </exclusion>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-transport</artifactId>
        </exclusion>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-handler</artifactId>
        </exclusion>
        <exclusion>
            <groupId>io.netty</groupId>
            <artifactId>netty-resolver-dns</artifactId>
        </exclusion>
    </exclusions>
    <version>3.11.4</version>
</dependency>

      异常信息:

      Exception in thread "streaming-job-executor-0" java.lang.NoClassDefFoundError: io/netty/resolver/AddressResolverGroup
    at org.redisson.config.Config.<init>(Config.java:92)
    at com.hdjt.bigdata.passengerFlow.RedissonUtils$.getRedissonClient(RedissonUtils.scala:23)
    at com.hdjt.bigdata.passengerFlow.RedissonUtils$.getRedissonClient(RedissonUtils.scala:16)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$$anonfun$main$1.apply(PassengerFlowMatchApp.scala:64)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$$anonfun$main$1.apply(PassengerFlowMatchApp.scala:58)
    at org.apache.spark.streaming.dstream.DStream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:628)
    at org.apache.spark.streaming.dstream.DStream$$anonfun$foreachRDD$1$$anonfun$apply$mcV$sp$3.apply(DStream.scala:628)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1$$anonfun$apply$mcV$sp$1.apply(ForEachDStream.scala:51)
    at org.apache.spark.streaming.dstream.DStream.createRDDWithLocalProperties(DStream.scala:416)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply$mcV$sp(ForEachDStream.scala:50)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply(ForEachDStream.scala:50)
    at org.apache.spark.streaming.dstream.ForEachDStream$$anonfun$1.apply(ForEachDStream.scala:50)
    at scala.util.Try$.apply(Try.scala:192)
    at org.apache.spark.streaming.scheduler.Job.run(Job.scala:39)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply$mcV$sp(JobScheduler.scala:257)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply(JobScheduler.scala:257)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler$$anonfun$run$1.apply(JobScheduler.scala:257)
    at scala.util.DynamicVariable.withValue(DynamicVariable.scala:58)
    at org.apache.spark.streaming.scheduler.JobScheduler$JobHandler.run(JobScheduler.scala:256)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: io.netty.resolver.AddressResolverGroup
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 24 more
    3. 问题三:

      先将与 netty 相关的 jar 从 redisson 的 jar 包排除(方法如下), 并将 Spark2 环境中的 netty 替换为与 redisson 所依赖 netty 的同一版本，然后再将项目打包并提交运行，无法提交 Spark 程序到 Yarn ，会报异常信息如下。

      19/10/14 14:10:03 ERROR util.Utils: Uncaught exception in thread main
java.lang.NullPointerException
    at org.apache.spark.network.shuffle.ExternalShuffleClient.close(ExternalShuffleClient.java:141)
    at org.apache.spark.storage.BlockManager.stop(BlockManager.scala:1485)
    at org.apache.spark.SparkEnv.stop(SparkEnv.scala:90)
    at org.apache.spark.SparkContext$$anonfun$stop$11.apply$mcV$sp(SparkContext.scala:1937)
    at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1317)
    at org.apache.spark.SparkContext.stop(SparkContext.scala:1936)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:587)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:909)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:901)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:901)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$.main(PassengerFlowMatchApp.scala:41)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp.main(PassengerFlowMatchApp.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
19/10/14 14:10:03 INFO spark.SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:85)
    at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.start(YarnClientSchedulerBackend.scala:62)
    at org.apache.spark.scheduler.TaskSchedulerImpl.start(TaskSchedulerImpl.scala:173)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:509)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2509)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:909)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$6.apply(SparkSession.scala:901)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:901)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp$.main(PassengerFlowMatchApp.scala:41)
    at com.hdjt.bigdata.passengerFlow.PassengerFlowMatchApp.main(PassengerFlowMatchApp.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:755)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
  2. 解决方法:

    利用 Maven 打包插件 maven-shade-plugin 将 redisson 中依赖的 netty 包名重新定位，比如改为 my.redisson.io.netty, 插件配置如下。然后将项目打包并提交运行（注意：使用不带with-dependecies的jar），便可正常运行。

    提醒:
    在使用上述方式解决之前，本人还尝试了使用在提交 Spark 程序脚本中使用优先使用用户添加的 jar spark.executor.userClassPathFirst=true 和 spark.driver.userClassPathFirs=true 参数，但仍然无法解决由于 jar 引起的冲突问题。

    
<build>
    <plugins>
        <plugin>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-shade-plugin</artifactId>
            <version>3.2.1</version>
            <configuration>
                <createDependencyReducedPom>false</createDependencyReducedPom>
            </configuration>
            <executions>
                <execution>
                    <phase>package</phase>
                    <goals>
                        <goal>shade</goal>
                    </goals>
                    <configuration>
                        <filters>
                            <filter>
                                <artifact>*:*</artifact>
                                <excludes>
                                    <exclude>META-INF/*.SF</exclude>
                                    <exclude>META-INF/*.DSA</exclude>
                                    <exclude>META-INF/*.RSA</exclude>
                                </excludes>
                            </filter>
                        </filters>
                        <relocations>
                            <relocation>
                                <pattern>io.netty</pattern>
                                <shadedPattern>my.redisson.io.netty</shadedPattern>
                            </relocation>
                        </relocations>
                        <transformers>
                            <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"/>
                        </transformers>
                    </configuration>
                </execution>
            </executions>
        </plugin>
    </plugins>
</build>
storm_fury
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark批量读写Redis
whgyxy的博客
11-03 6329
Spark批量读写Redis 需要新加入Redis的依赖 <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>3.0.1...
spark操作Redis
SuperBoy_Liang的博客
02-28 3303
需求：需要通过spark对redis里面的数据进行实时读写 实现方案：通过建立连接池，在每台机器上单独建立连接，进行操作 1、利用lazy val的方式进行包装 class RedisSink(makeJedisPool: () => JedisPool) extends Serializable { lazy val pool = makeJedisPool() } object RedisSink { def apply(redisHost: String,
Spark写redis最佳实践
止鱼
05-12 2397
使用 Jedis Pipline 1、JedisClusterPipeline package com.xiaomi.jedisClient; /** */ import org.slf4j.Logger; import org.slf4j.LoggerFactory; import redis.clients.jedis.*; import redis.clients.jedis.exceptions.JedisMovedDataException; import redis.clients.jedi
Redisson框架
spark2010的博客
03-18 971
Redisson框架学习笔记，记录了通过Redisson框架操作Redis，Redisson涉及到的功能很多，可根据需要参考官方文档。
java.lang.NoSuchMethodError错误解决
kawsaki的博客
02-26 11万+
一、错误原因 java.lang.NoSuchMethodError错误可能的原因： 1、有这个类，该类没有这个方法 2、类冲突、Jar包冲突、Jar包版本冲突 3、有这个类（A），类中也有方法，但在B类中引用了A类，并调用A类的方法，后面修改A类，把该A类的方法返回值类型改变（如将方法返回类型由void类型改成String类型），只部署A类，没有重新部署B类，将导致NoSuchMethodError错误。 二、解决方案 1、有这个类，该类没有这个方法 在类增加方法。 2、类冲突、Jar包冲突、Jar包版本
spark-redis：Spark的连接器，允许从Redis集群读写
02-03
Spark-Redis 一个使用在读写数据的库。 Spark-Redis可从Spark作为RDD访问Redis的所有数据结构-字符串，哈希，列表，集合和排序集合。 它还支持使用DataFrames和Spark SQL语法进行读写。 该库可以与Redis独立数据库...
大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse
03-09
ZooKeeper 是一个分布式协调服务，用于解决分布式环境中的命名服务、配置管理、集群同步等问题。它维护了分布式的共享状态，并提供原子的读写操作。 3. **HBase**： 基于 Hadoop 的 HBase 是一个非关系型数据库...
海量数据的实时读写和查询实践.pptx
10-14
总结，该实践案列展示了在处理海量数据时，如何通过微服务架构、数据分片、异构存储和分布式数据库来提升系统的实时处理能力和可扩展性，同时也揭示了在实际应用中可能遇到的问题及其解决方案。
kafka-forward.zip
04-07
总的来说，“kafka-forward.zip”项目展示了如何结合使用Spark Streaming、Kafka和Redis来构建一个高效、灵活的大数据流处理系统。通过这样的架构，可以实现实时的数据消费、处理和分发，尤其适合大规模数据转发的...
主流大数据技术组件解读及高可用性部署.docx
10-14
9. Redis：Redis 是一个内存数据结构存储系统，常用于缓存和实时数据处理。利用主从复制和哨兵系统，可以保证数据的一致性和服务的连续性。 10. Elasticsearch：Elasticsearch 是一个全文搜索引擎，用于实时数据...
DNSResolver
12-02
使用Windows socket实现的DNS解析类，有测试Demo。
Netty报错：Could not initialize class io.netty.util.internal.PlatformDependent0
ZHY_ERIC的博客
04-04 6185
在使用netty的时候爆出了错误： Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class io.netty.util.internal.PlatformDependent0 at io.netty.util.internal.PlatformDependent.<clinit>(PlatformDependent.java:101) at io...
springcloud Gateway could not load a native library: netty_resolver_dns_native_macos_aarch_64
weixin_53815463的博客
02-09 1693
分享最近在使用springcloud Gateway时遇到的一个bug,在gateway启动后会一直报上述到错误信息，但还是能正常运行，对于有强迫症的人来说是件非常难受的事情。由于本人用的是arm架构的mac只找到了对于arm架构mac的解决方法。所以我就翻阅了网上的资料，找到了一个可以解决这个问题的方案。就是添加下面这个依赖。
【Springboot】解决 MacOS M1 上 Netty 的 DNS 解析错误
最新发布
2024 做自己的太阳
12-26 2232
是使用 Netty 库时遇到的 DNS 解析错误；此错误源于 Netty 无法访问本机 MacOS DNS 解析器。这样做的后果是可能出现不正确的 DNS 解析，这可能会导致应用程序中出现大量与网络相关的问题；Netty 使用本机代码与系统的 DNS 解析器交互以获得最佳性能。在 MacOS 上，尤其是使用 M1 芯片的系统上，可能会缺少所需的本机库，从而导致上述错误。上使用 netty 的 connector 来进行。使用 springboot2.7.18 上使用。解决方案是显式提供此本机库。
怎么解决java.lang.NoClassDefFoundError错误
热门推荐
jamesjxin的专栏
06-23 119万+
前言在日常Java开发中，我们经常碰到java.lang.NoClassDefFoundError这样的错误，需要花费很多时间去找错误的原因，具体是哪个类不见了？类明明还在，为什么找不到？而且我们很容易把java.lang.NoClassDefFoundError和java.lang.ClassNotfoundException这两个错误搞混，事实上这两个错误是完全不同的。我们往往花费时间去不断尝试
Spring Cloud GateWay 整合consul 时DNS错误的处理方法
weixin_44770829的博客
05-14 1091
Spring Cloud GateWay 整合consul时出现DnsNameResolver$DnsResponseHandler.channelRead错误的解决方案第一步:看报错的内容第二步:应该是确定配置是否正确第三步:修改hosts文件 第一步:看报错的内容 例如笔者的报错内容是 需要注意的是造成这种错误的根本原因是: io.netty.resolver.dns.DnsNameResolver$DnsResponseHandler.channelRead(DnsNameResolver.java
java spring ldap,java模块的springframework ldap核心问题
weixin_30699915的博客
02-16 3109
Had this kind of problem with main java module.rg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'ldapContextSource' defined in class path resource [org/springframe...
Java面试笔试题大汇总(最全+详细答案)
至道
02-01 9万+
说明：有人说, 有些面试题很变态，个人认为其实是因为我们基础不扎实或者没有深入。本篇文章来自一位很资深的前辈对于最近java面试题目所做的总结归纳，有170道题目 ，知识面很广 ，而且这位前辈对于每个题都自己测试给出了答案 ，如果你对某个题有疑问或者不明白，可以电脑端登录把题目复制下来然后发表评论，大家一起探讨，也可以电脑端登录后关注我给我发私信,我们一起进步！ 以下内容来自这位前辈
springboot集成redisson连接redis集群
07-25
回答: 要在Spring Boot中集成Redisson连接Redis集群，你需要进行以下步骤。首先，你需要在pom.xml文件中引入Redisson的依赖项，如下所示：\[2\] ```xml <dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.17.0</version> </dependency> ``` 接下来，你需要在配置文件中进行相应的配置。你可以使用Redisson提供的配置类来配置Redis连接，例如使用`RedissonClusterConfig`来配置Redis集群连接。你可以在配置文件中指定Redis集群的节点信息和其他相关配置。\[2\] 最后，你可以在Spring Boot应用程序中使用Redisson的API来连接和操作Redis集群。你可以使用`RedissonClient`接口来获取Redis连接，并使用相应的方法来执行操作，如存储、读取和删除数据等。\[2\] 如果你想使用命令行来搭建Redis集群，你可以使用以下命令：\[3\] ``` redis-cli --cluster create 192.168.2.66:7000 192.168.2.66:7001 192.168.2.66:7002 192.168.2.66:7003 192.168.2.66:7004 192.168.2.66:7005 --cluster-replicas 1 ``` 这个命令将创建一个包含6个节点的Redis集群，并设置每个主节点有一个从节点。你需要根据你自己的实际情况修改IP地址和端口号。\[3\] 希望这些信息对你有帮助！ #### 引用[.reference_title] - *1* *3* [SpringBoot整合Redisson操作集群redis](https://blog.csdn.net/u013658328/article/details/112661206)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [SpringBoot集成redisson操作redis](https://blog.csdn.net/quanzhan_King/article/details/130961128)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值