踩坑日常
时甭甭
这个作者很懒,什么都没留下…
展开
-
HDFS多线程追加写数据踩坑
上一个同事使用strom框架,在Bolt的prepare中执行定时任务,将缓存数据利用HDFS原生API定时写入HDFS。最近将缓存系统改成了Redis,改写代码过程中,发现多线程调用HDFS的API进行追加写的代码各种报错。下面将踩坑总结如下:Hadoop的官方说明书明确指明,HDFS不可以多线程写,可以多线程读。通过测试,使用redis公平锁的方式,可以将数据多线程写入HDFS中。具...原创 2019-04-25 15:41:03 · 5417 阅读 · 4 评论 -
redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster
把storm程序部署到新配的redis环境中(为三主三从伪redis集群),又各种报错真是伤不起。程序部署成功后,首先报错redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster经过检查redis的端口情况,发现其监听端口均为 127.0.0.1,即只能本地访问redis。将...原创 2019-04-30 15:24:36 · 1231 阅读 · 0 评论 -
Redisson类报错:ClusterConnectionManager [ERROR] Can't connect to master: redis://127.0.0.1:7000
依旧是原程序使用新的redis集群后发现的问题。调用redis插入数据的api是使用正常的,一旦调用Redisson类,就会报错如下:2019-04-30 10:01:22.242 o.r.c.ClusterConnectionManager [ERROR] Can’t connect to master: redis://127.0.0.1:7000 with slot ranges: ...原创 2019-04-30 15:43:09 · 17969 阅读 · 5 评论 -
zookeeper报错:Will not attempt to authenticate using SASL (unknown error)
程序部署后,日志有以下信息。Will not attempt to authenticate using SASL (unknown error)经过查资料,这个问题与zookeeper里面的zoo.cfg配置有关。在程序填写的zookeper的路径,一定与zoo.cfg里面的server填写的名称一致。(比如,如果配置的时候写的实际ip,而不是host映射名称,那么就可以能报此类错误,...原创 2019-04-30 15:59:21 · 61546 阅读 · 0 评论 -
storm消费kafka数据监控问题——KafkaOffsetMonitor
storm消费kafka的速度在ui里面是看不到的。所以是需要 一款kafka的监控软件,来监控storm消费kafka的情况。经过比较,选择了KafkaOffsetManager这款工具。这款软件的优点是,直接是一个jar,可以直接运行,对kafka集群没有要影响。但是使用中有几个问题要注意。1、版本问题。现在网络上0.2.0版本提供下载较多,但是该版本不提供storm的支持。所以应...原创 2019-05-15 10:28:11 · 2119 阅读 · 0 评论