报这个错,好奇怪的。
Caused by: redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in cluster
at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnection(JedisSlotBasedConnectionHandler.java:57)
at redis.clients.jedis.JedisSlotBasedConnectionHandler.getConnectionFromSlot(JedisSlotBasedConnectionHandler.java:74)
at redis.clients.jedis.JedisClusterCommand.runWithRetries(JedisClusterCommand.java:116)
at redis.clients.jedis.JedisClusterCommand.run(JedisClusterCommand.java:31)
at redis.clients.jedis.JedisCluster.hincrBy(JedisCluster.java:444)
at MonitorAdvice$$anonfun$main$1$$anonfun$apply$5$$anonfun$apply$6.apply(MonitorAdvice.scala:96)
at MonitorAdvice$$anonfun$main$1$$anonfun$apply$5$$anonfun$apply$6.apply(MonitorAdvice.scala:95)
at scala.collection.Iterator$class.foreach(Iterator.scala:893)
at org.apache.spark.util.CompletionIterator.foreach(CompletionIterator.scala:26)
at MonitorAdvice$$anonfun$main$1$$anonfun$apply$5.apply(MonitorAdvice.scala:95)
at MonitorAdvice$$anonfun$main$1$$anonfun$apply$5.apply(MonitorAdvice.scala:93)
at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$29.apply(RDD.scala:926)
at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$29.apply(RDD.scala:926)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2069)
at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2069)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
at org.apache.spark.scheduler.Task.run(Task.scala:108)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:338)
... 3 more
看了好多文章,有的说是jedis3.0集群以后,不需要手动关闭连接池 jedis.close()
原因:我们使用的是redis3.0的集群,用jedis的JedisCluster.close()方法造成的集群连接关闭的情况。 jedisCluster内部使用了池化技术,每次使用完毕都会自动释放Jedis因此不需要关闭。如果调用close方法后再调用jedisCluster的api进行操作时就会出现如上错误。
有的说 可能是你的redis集群状态以及是fail ,你可以进去查看下
所以呢,根据自己的情况看。
我的错误的原因是手动关闭了jedis。我把那个代码注释了,然后运行成功了
但是特别奇怪,后来我把jedis手动关闭连接池jedis.close()添加上,然后运行,也是对的。
但是 那是因为我的代码中添加了cache,所以以上执行时白执行。
后来通过kafka实时生产了数据。发下加上jedis.close()还会报那个错误。
所以,以上证明jedis.close()会产生Caused by: redis.clients.jedis.exceptions.JedisNoReachableClusterNodeException: No reachable node in错误。。
请大家注意!!!