- 博客(3)
- 收藏
- 关注
RSS订阅原创 haproxy双机HA方案
文章目录haproxy双机HA方案网络参数调优安装haproxy配置keepalived配置启动服务主从切换测试日志配置和logrotate参考haproxy双机HA方案实现方案haproxy+keepalived网络参数调优echo 1 > /proc/sys/net/ipv4/ip_forwardecho 5000000 > /proc/sys/net/netfilter...
2019-06-17 23:37:22
658
原创 百TB级数据拷贝distcp性能调优
文章目录百TB级数据拷贝distcp性能调优背景拷贝方式速度问题启动慢同步慢收尾慢调优措施慢启动问题distcp参数调优数据倾斜问题慢节点问题机房带宽问题其它实际测试百TB级数据拷贝distcp性能调优背景配合集群迁移，需要迁移6PB数据迁移安排在当天天任务完成之后开启操作，9点-10点需要在晚上17点之前完成当天增量数据迁移（5-8小时完成120TB数据同步）拷贝方式全量数据约6P...
2019-06-17 23:15:53
4269
1
原创 Yarn node label实践
文章目录背景Yarn node label简介测试小结详细测试过程修改队列配置增加node label查看node labelmr作业测试spark submit 验证验证结论Attention参考附录背景提出对Yarn node label调研实践,根据机器配置和应用程序需求，为集群中的node节点打上标签预期缓解当前遇到的问题集群机器跨机房问题新的实时集群机器跨越两个机房集群异构...
2019-03-29 23:45:14
5489
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人