自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 记录一次redis的灾备与恢复

redis的持久化机制分为两种,rtb和aof。其默认灾备模式为rtb,是一种快照式的备份。aof机制,需要配置appendonly yes。昨天开发环境的主机,意外断电。集群重启后,redis群集首先得现象是数据丢失。猜测是运维启动集群的时候,与之前的方式并不一致。因为是开发环境,里面的数据是测试数据,数据丢失并没有太重视。调用api发现,redis集群报错。数据已经无法正确写入。...

2019-06-24 14:03:54 1245

原创 一次跨网路传输数据的经验

最近接到的任务是把hdfs的数据用json的形式,通过网路传输给公司A。读取文件解析组装json当然是非常容易的事情,过程还没走完(目前准备测试了),发现自己还是太青涩,事情考虑的确实不够全面。之前两个公司数据传输的方案,一直是公司A直接通过内网读我们的mysql。但是由于我们更改了数据的计算方式,数据放到了hdfs里面。传输数据方案讨论了以下几种方案:1、对方直接拿我们的hdfs,自...

2019-06-18 16:29:42 625

原创 storm消费kafka数据监控问题——KafkaOffsetMonitor

storm消费kafka的速度在ui里面是看不到的。所以是需要 一款kafka的监控软件,来监控storm消费kafka的情况。经过比较,选择了KafkaOffsetManager这款工具。这款软件的优点是,直接是一个jar,可以直接运行,对kafka集群没有要影响。但是使用中有几个问题要注意。1、版本问题。现在网络上0.2.0版本提供下载较多,但是该版本不提供storm的支持。所以应...

2019-05-15 10:28:11 2102

原创 zookeeper报错:Will not attempt to authenticate using SASL (unknown error)

程序部署后,日志有以下信息。Will not attempt to authenticate using SASL (unknown error)经过查资料,这个问题与zookeeper里面的zoo.cfg配置有关。在程序填写的zookeper的路径,一定与zoo.cfg里面的server填写的名称一致。(比如,如果配置的时候写的实际ip,而不是host映射名称,那么就可以能报此类错误,...

2019-04-30 15:59:21 61482

原创 Redisson类报错:ClusterConnectionManager [ERROR] Can't connect to master: redis://127.0.0.1:7000

依旧是原程序使用新的redis集群后发现的问题。调用redis插入数据的api是使用正常的,一旦调用Redisson类,就会报错如下:2019-04-30 10:01:22.242 o.r.c.ClusterConnectionManager [ERROR] Can’t connect to master: redis://127.0.0.1:7000 with slot ranges: ...

2019-04-30 15:43:09 17728 5

原创 redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster

把storm程序部署到新配的redis环境中(为三主三从伪redis集群),又各种报错真是伤不起。程序部署成功后,首先报错redis.clients.jedis.exceptions.JedisConnectionException: no reachable node in cluster经过检查redis的端口情况,发现其监听端口均为 127.0.0.1,即只能本地访问redis。将...

2019-04-30 15:24:36 1205

原创 HDFS多线程追加写数据踩坑

上一个同事使用strom框架,在Bolt的prepare中执行定时任务,将缓存数据利用HDFS原生API定时写入HDFS。最近将缓存系统改成了Redis,改写代码过程中,发现多线程调用HDFS的API进行追加写的代码各种报错。下面将踩坑总结如下:Hadoop的官方说明书明确指明,HDFS不可以多线程写,可以多线程读。通过测试,使用redis公平锁的方式,可以将数据多线程写入HDFS中。具...

2019-04-25 15:41:03 5315 4

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除