- 博客(7)
- 收藏
- 关注
原创 记录一次redis的灾备与恢复
redis的持久化机制分为两种,rtb和aof。其默认灾备模式为rtb,是一种快照式的备份。aof机制,需要配置appendonly yes。昨天开发环境的主机,意外断电。集群重启后,redis群集首先得现象是数据丢失。猜测是运维启动集群的时候,与之前的方式并不一致。因为是开发环境,里面的数据是测试数据,数据丢失并没有太重视。调用api发现,redis集群报错。数据已经无法正确写入。...
2019-06-24 14:03:54
1245
原创 一次跨网路传输数据的经验
最近接到的任务是把hdfs的数据用json的形式,通过网路传输给公司A。读取文件解析组装json当然是非常容易的事情,过程还没走完(目前准备测试了),发现自己还是太青涩,事情考虑的确实不够全面。之前两个公司数据传输的方案,一直是公司A直接通过内网读我们的mysql。但是由于我们更改了数据的计算方式,数据放到了hdfs里面。传输数据方案讨论了以下几种方案:1、对方直接拿我们的hdfs,自...
2019-06-18 16:29:42
625
原创 storm消费kafka数据监控问题——KafkaOffsetMonitor
storm消费kafka的速度在ui里面是看不到的。所以是需要 一款kafka的监控软件,来监控storm消费kafka的情况。经过比较,选择了KafkaOffsetManager这款工具。这款软件的优点是,直接是一个jar,可以直接运行,对kafka集群没有要影响。但是使用中有几个问题要注意。1、版本问题。现在网络上0.2.0版本提供下载较多,但是该版本不提供storm的支持。所以应...
2019-05-15 10:28:11
2102
原创 zookeeper报错:Will not attempt to authenticate using SASL (unknown error)
程序部署后,日志有以下信息。Will not attempt to authenticate using SASL (unknown error)经过查资料,这个问题与zookeeper里面的zoo.cfg配置有关。在程序填写的zookeper的路径,一定与zoo.cfg里面的server填写的名称一致。(比如,如果配置的时候写的实际ip,而不是host映射名称,那么就可以能报此类错误,...
2019-04-30 15:59:21
61482
原创 Redisson类报错:ClusterConnectionManager [ERROR] Can't connect to master: redis://127.0.0.1:7000
依旧是原程序使用新的redis集群后发现的问题。调用redis插入数据的api是使用正常的,一旦调用Redisson类,就会报错如下:2019-04-30 10:01:22.242 o.r.c.ClusterConnectionManager [ERROR] Can’t connect to master: redis://127.0.0.1:7000 with slot ranges: ...
2019-04-30 15:43:09
17728
5
原创 redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster
把storm程序部署到新配的redis环境中(为三主三从伪redis集群),又各种报错真是伤不起。程序部署成功后,首先报错redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster经过检查redis的端口情况,发现其监听端口均为 127.0.0.1,即只能本地访问redis。将...
2019-04-30 15:24:36
1205
原创 HDFS多线程追加写数据踩坑
上一个同事使用strom框架,在Bolt的prepare中执行定时任务,将缓存数据利用HDFS原生API定时写入HDFS。最近将缓存系统改成了Redis,改写代码过程中,发现多线程调用HDFS的API进行追加写的代码各种报错。下面将踩坑总结如下:Hadoop的官方说明书明确指明,HDFS不可以多线程写,可以多线程读。通过测试,使用redis公平锁的方式,可以将数据多线程写入HDFS中。具...
2019-04-25 15:41:03
5317
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人