- 博客(3)
- 收藏
- 关注
RSS订阅原创 haproxy双机HA方案
文章目录haproxy双机HA方案网络参数调优安装haproxy配置keepalived配置启动服务主从切换测试日志配置和logrotate参考 haproxy双机HA方案 实现方案haproxy+keepalived 网络参数调优 echo 1 > /proc/sys/net/ipv4/ip_forward echo 5000000 > /proc/sys/net/netfilter...
2019-06-17 23:37:22
680
原创 百TB级数据拷贝distcp性能调优
文章目录百TB级数据拷贝distcp性能调优背景拷贝方式速度问题启动慢同步慢收尾慢调优措施慢启动问题distcp参数调优数据倾斜问题慢节点问题机房带宽问题其它实际测试 百TB级数据拷贝distcp性能调优 背景 配合集群迁移，需要迁移6PB数据 迁移安排在当天天任务完成之后开启操作，9点-10点 需要在晚上17点之前完成当天增量数据迁移（5-8小时完成120TB数据同步） 拷贝方式 全量数据约6P...
2019-06-17 23:15:53
4422
1
原创 Yarn node label实践
文章目录背景Yarn node label简介测试小结详细测试过程修改队列配置增加node label查看node labelmr作业测试spark submit 验证验证结论Attention参考附录 背景 提出对Yarn node label调研实践,根据机器配置和应用程序需求，为集群中的node节点打上标签 预期缓解当前遇到的问题 集群机器跨机房问题 新的实时集群机器跨越两个机房 集群异构...
2019-03-29 23:45:14
5646
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人