文件ha开发的问题,及解决方法



一、文件ha遇到的问题:
1、传输时,文件大小不对(日志中发现)

文件不能是 先打开,再增加内容,要先在临时文件中操作,否则,会读没写完的文件,
导致文件内容对不上。

2、使用非阻塞模式:开始没发心跳包,导致开始可以传输,过一段时间,连接就出问题,
传输不了了。

3、正则表达式,匹配时,需要完整匹配:
测试时没有完全匹配,会导致已经在处理的文件(文件已经加了后缀),又认为是新的文件,有重新被处理,
引起文件出现:50001_1435507200_1435593600.rd.transfer.transfer.transfer这种文件

4、需要解决的:
多个服务接听端口,处理业务不同,没有做很好的包装,
导致大量重复的代码。

5、调试技巧不够,现在主要是通过打日志,分析文件,偶尔使用gdb跟踪问题,
进度很慢。
就这个文件ha,调试,话了大概一周半的时间。
才调通。

6、备机关闭后,主机会一直尝试重连备机
--抽时间验证下,备机重启后,是否可以重连。


二、增加功能:
1、备机落文件失败,cp一份到redo目录(等备机启动后,工具负责传输)

2、优化socket的包装基类,减少重复代码。

阅读更多
个人分类: C/C++
上一篇简述sqlldr的使用
下一篇Linux strace命令
想对作者说点什么? 我来说一句

Hadoop HA部署

2018年04月01日 688KB 下载

没有更多推荐了,返回首页

关闭
关闭