干货 | 基于Keepalived实现京东云内网服务组件高可用

于 2019-02-27 23:03:41 发布
阅读量587 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdcdev_/article/details/106404270
版权


     摘         要    

《基于Keepalived实现京东云接入服务高可用》介绍了利用Keepalived、京东云命令行实现公网IP在两台云主机之间自动切换的实现方法，从而提高公网接入服务（比如基于Nginx或HAProxy的负载均衡服务）可用性，避免单台云主机不可用导致整个服务不可用。

本文将介绍京东云内网IP在不同云主机之间自动漂移的方法。该方法通过在主备云主机之间切换内网IP，可以提高在云主机上自建MySQL、RabbitMQ等中间件服务的可用性。

本文将以提高Nginx服务可用性为示例，在两台云主机上安装Ningx，并通过一个内网IP提供服务。当主Nginx服务器出现不可用时，该内网IP将自动切换到备Nginx服务器，由备Nginx服务器处理请求，保证了服务连续性。

具体内容包括：

  • 准备实验环境

  • 配置Keepalived实现内网IP漂移

  • 测试内网IP漂移

准备实验环境

1

通过控制台创建并配置主、备云主机

本实验将在京东云华东-上海区域创建创建两台云主机，这两台云主机通过京东云提供的高可用组功能在可用区A和可用区B创建。

下图是创建的两台云主机信息：

要实现内网IP在不同云主机之间的漂移，需要首先在主云主机的主网卡上绑定一个辅IP。同时，为了便于测试内网IP漂移效果，在主、备云主机上安装Nginx，并修改 /usr/share/nginx/html/index.html内容来区分主、备云主机。具体信息如下：

京东云云主机支持一个网卡绑定多个内网IP是实现内网IP在两台云主机之间切换的基础。基于上述配置的Nginx服务将通过10.0.1.20地址向外提供服务。

 2 

在云主机操作系统中配置辅IP

京东云云主机在创建后，将自动绑定主网卡以及主网卡的主IP，但即使在控制台上配置了辅IP，操作系统缺省也不会绑定辅IP。下面是操作系统未绑定辅IP时的信息。其中eth0是该云主机绑定的主网卡，10.0.1.18是该主网卡上绑定的主IP。因此，需要在主、备云主机上完成辅IP绑定：

 1[root@jdcoe-nginx-master ~]# ip addr
 21: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
 3    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 4    inet 127.0.0.1/8 scope host lo
 5       valid_lft forever preferred_lft forever
 6    inet6 ::1/128 scope host 
 7       valid_lft forever preferred_lft forever
 82: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc pfifo_fast state UP group default qlen 1000
 9    link/ether fa:16:3e:c1:4a:45 brd ff:ff:ff:ff:ff:ff
10    inet 10.0.1.18/24 brd 10.0.1.255 scope global noprefixroute dynamic eth0
11       valid_lft 84996sec preferred_lft 84996sec
12    inet6 fe80::f816:3eff:fec1:4a45/64 scope link noprefixroute 
13       valid_lft forever preferred_lft forever

为了在操作系统中绑定主网卡的辅IP，需要修改网卡的配置文件/etc/sysconfig/network-scripts/ifcfg-eth0 ，在该配置文件末尾增加如下内容。其中IPADDR1="10.0.1.20"是设置辅IP，PREFIX1=24是设置IP的掩码：

1IPADDR1="10.0.1.20"
2PREFIX1=24

在修改完配置文件后，重新启动网络服务，将看到已经绑定辅IP 10.0.1.20：

 1[root@jdcoe-nginx-master ~]# systemctl restart network
 2[root@jdcoe-nginx-master ~]# ip addr
 31: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
 4    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
 5    inet 127.0.0.1/8 scope host lo
 6       valid_lft forever preferred_lft forever
 7    inet6 ::1/128 scope host 
 8       valid_lft forever preferred_lft forever
 92: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc pfifo_fast state UP group default qlen 1000
10    link/ether fa:16:3e:c1:4a:45 brd ff:ff:ff:ff:ff:ff
11    inet 10.0.1.18/24 brd 10.0.1.255 scope global noprefixroute dynamic eth0
12       valid_lft 86398sec preferred_lft 86398sec
13    inet 10.0.1.20/24 brd 10.0.1.255 scope global secondary noprefixroute eth0
14       valid_lft forever preferred_lft forever
15    inet6 fe80::f816:3eff:fec1:4a45/64 scope link noprefixroute 
16       valid_lft forever preferred_lft forever

虽然在主、备云主机都绑定了10.0.1.20地址，但由于10.0.1.20当前通过控制台绑定在主云主机10.0.1.18上，所以http://10.0.1.20请求是由主云主机提供服务。 

1[root@jdcoe-bastion ~]# curl http://10.0.1.20
2<h1>Master Server</h1>

配置Keepalived实现内网IP漂移

在配置主、备云主机前，首先确保两台云主机的root口令相同，然后安装Keepalived服务，并配置京东命令行jdc，详细过程请参考《基于Keepalived实现京东云接入服务高可用》。

 1 

配置主云主机（Master）

修改修改主云主机的/etc/keepalived/keepalived.conf。该配置的逻辑是，每两秒中检测10.0.1.19云主机上的nginx进程是否存在。

 1[root@jdcoe-nginx-master keepalived]# more keepalived.conf
 2vrrp_script chk_nginx {
 3 script "/usr/sbin/pidof nginx"
 4 interval 2
 5}
 6
 7vrrp_instance VI_1 {
 8 debug 2
 9 interface eth0 # interface to monitor
10
11 state MASTER
12 virtual_router_id 1 # Assign one ID for this route
13 priority 101 # 101 on master, 100 on backup
14 unicast_src_ip 10.0.1.18 # My IP
15 unicast_peer {
16   10.0.1.19
17 }
18
19 track_script {
20   chk_nginx
21 }
22 notify_master /etc/keepalived/master.sh
23}

当VRRP_Instance进入MASTER状态时，将执行如下master.sh脚本，在主云主机的主网卡上绑定辅助IP：

 1[root@jdcoe-nginx-master keepalived]# more /etc/keepalived/master.sh
 2#!/bin/bash
 3
 4VIP=[10.0.1.20] # The Virtual IP 
 5
 6MASTER_INTERFACE_ID=port-cwex5204wm
 7SLAVE_INTERFACE_ID=port-et38k7x3l6
 8
 9jdc vpc unassign-secondary-ips --network-interface-id $SLAVE_INTERFACE_ID --secondary-ips $VIP
10
11jdc vpc assign-secondary-ips  --network-interface-id $MASTER_INTERFACE_ID --secondary-ips $VIP --secondary-ip-count 1

 2 

配置备云主机(Slave)

修改备云主机的keepalived.conf文件。该文件大部分和主云主机的配置相同，但有如下几个参数需要修改：

  • state BACKUP——表示在备云主机上Keepalived服务启动后缺省进入BACKUP状态；

  • priority 100——主云主机上的priority是101，这样当备云主机提供服务时，如果主云主机可用，将自动把主云主机切换为MASTER状态，而将备服务器切换为BACKUP状态；

  • unicast_src_ip和unicast_peer地址将做对调。

 1[root@jdcoe-nginx-slave keepalived]# cat  /etc/keepalived/keepalived.conf 
 2vrrp_script chk_nginx {
 3  script "/usr/sbin/pidof nginx"
 4  interval 2
 5}
 6
 7vrrp_instance VI_1 {
 8  debug 2
 9  interface eth0 # interface to monitor
10
11  state BACKUP
12  virtual_router_id 1 # Assign one ID for this route
13  priority 100 # 101 on master, 100 on backup
14  unicast_src_ip 10.0.1.19 # My IP
15  unicast_peer {
16    10.0.1.18
17  }
18
19  track_script {
20    chk_nginx
21  }
22  notify_master /etc/keepalived/master.sh
23}

其中备云主机进入MASTER状态时，将执行如下脚本：

 1[root@jdcoe-nginx-slave keepalived]# cat /etc/keepalived/master.sh
 2#!/bin/bash
 3
 4VIP=[10.0.1.20] # The Virtual IP 
 5
 6MASTER_INTERFACE_ID=port-cwex5204wm
 7SLAVE_INTERFACE_ID=port-et38k7x3l6
 8
 9jdc vpc unassign-secondary-ips --network-interface-id $MASTER_INTERFACE_ID --secondary-ips $VIP
10
11jdc vpc assign-secondary-ips  --network-interface-id $SLAVE_INTERFACE_ID --secondary-ips $VIP --secondary-ip-count 1

 3 

测试内网IP漂移

首先在主云主机和备云主机上重新启动keepalived和nginx服务：

1[root@jdcoe-nginx-slave keepalived]# service keepalived restart
2Redirecting to /bin/systemctl restart keepalived.service
3[root@jdcoe-nginx-slave keepalived]# service nginx restart
4Redirecting to /bin/systemctl restart nginx.service

然后在一台云主机机器上通过执行“ while true; do curl http://10.0.1.20; sleep 2; done”命令，同时在主云主机上停止和启动nginx服务。当主服务器的nginx服务不可用时候，10.0.1.20地址将被绑定到备服务器，http://10.0.1.20 请求将由备服务器的Nginx服务处理；当重新启动云服务器的Nginx服务时，10.0.1.20地址将被重新绑定到主服务器，http://10.0.1.20 请求将重新由主服务器上的Nginx服务处理。

通过curl命令访问Nginx服务的响应内容：

 1[root@jdcoe-bastion ~]# while true; do curl http://10.0.1.20; sleep 2; done
 2<h1>Master Server</h1>
 3<h1>Master Server</h1>
 4<h1>Master Server</h1>
 5<h1>Master Server</h1>
 6<h1>Master Server</h1>
 7curl: (7) Failed connect to 10.0.1.20:80; Connection refused
 8curl: (7) Failed connect to 10.0.1.20:80; Connection refused
 9<h1>Slave Server</h1>
10<h1>Slave Server</h1>
11<h1>Slave Server</h1>
12<h1>Master Server</h1>
13<h1>Master Server</h1>
14curl: (7) Failed connect to 10.0.1.20:80; Connection refused
15curl: (7) Failed connect to 10.0.1.20:80; Connection refused
16<h1>Slave Server</h1>
17<h1>Slave Server</h1>
18<h1>Slave Server</h1>
19<h1>Slave Server</h1>
20<h1>Slave Server</h1>
21<h1>Master Server</h1>
22<h1>Master Server</h1>

在主服务器上通过停止和启动Nginx服务来模拟主服务器故障：

1[root@jdcoe-nginx-master keepalived]# service nginx stop
2Redirecting to /bin/systemctl stop nginx.service
3[root@jdcoe-nginx-master keepalived]# service nginx start
4Redirecting to /bin/systemctl start nginx.service
5[root@jdcoe-nginx-master keepalived]# service nginx stop
6Redirecting to /bin/systemctl stop nginx.service
7[root@jdcoe-nginx-master keepalived]# service nginx start
8Redirecting to /bin/systemctl start nginx.service

总结:

京东云的云主机网卡可以绑定多个辅助IP的能力，可以自动实现一个虚拟IP在不同云主机之间的自动漂移，这为某些用户因特殊需求而不能直接采用京东云PaaS服务，不得不采取在云主机上自建的中间件服务（比如数据库、消息中间件等）提供了高可用保证。

参考文献：

http://www.keepalived.org/doc/introduction.html

https://docs.jdcloud.com/cn/virtual-machines/assign-secondary-ips


每一次分享，都是在为你想要的世界投票▼

京东云开发者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
如何手撸一个自有知识库的RAG系统
06-14 1
RAG通常指的是"Retrieval-AugmentedGeneration"，即“检索增强的生成”。这是一种结合了检索（Retrieval）和生成（Generation）的机器学习模型，通常用于自然语言处理任务，如文本生成、问答系统等。我们通过一下几个步骤来完成一个基于京东云官网文档的RAG系统数据收集建立知识库向量检索提示词与模型数据收集数据的收集再整个RAG实施过程中无疑是最耗人工的，涉及到...
博客
进程还在，JSF接口不干活了，这你敢信？
06-14 255
此时对问题有一个大体的了解，大概推测：getSlaveOfSlotFromDc是获取redis连接池，该方法入口处需要获取读锁，由于读锁之间不会互斥，所以猜测有业务获取到写锁后没有释放。从现象开始推测原因，系统启动时，会给JSF线程池分配固定的大小，当线程都在工作的时，外部流量又打进来，那么会没有线程去处理请求，此时会有上述的异常。从日志验证：日志只打印更新拓扑的日志，没有打印更新成功的日志，且02:20分以后r2m-topo-updater就不在打印日志。3）做好监控，能第一时间发现问题并处理问题。
博客
大模型应用之路：从提示词到通用人工智能（AGI）
06-14 120
对于企业而言，构建一个符合自身业务需求的知识库是至关重要的。通过RAG、微调等技术手段，我们可以将通用的大模型转变为对特定行业有着深度理解的“行业专家”，从而更好地服务于企业的具体业务需求。这样的知识库基本上适用于每个公司各行各业，包括：市场调研知识库、人力资源知识库、项目管理知识库、技术文档知识库、项目流程知识库、招标投标知识库等等。第一、离线的知识数据向量化•加载：通过文档加载器（Document Loaders）加载数据/知识库。•拆分：文本拆分器将大型文档拆分为较小的块。便于向量或和后续检索。
博客
chrome插件新版本（v3版本）中的热更新，即加载更新远程js的方法探索
06-14 238
该方案目前所打的包，在用户直接下载、解压、使用时比较合适；大多在未发布到chrome应用商店时使用较为便捷。若要在chrome官方应用商店发布，则需改造。待后续总结整理…作者：京东科技 贾玉龙来源：京东云开发者社区。
博客
如何画一个系统的设计图
06-13 547
这些想法都是错误的，需求文档是系统逻辑的一种表现形式，代码是系统逻辑的另一种表现形式，设计是代码的又一种表现形式而已。设计不是越细越好，也不是越粗越好，根本没有粗细之疑问，当你确定了要解决的问题，哪些该画，哪些不该画，我认为是确定的，问题定了有些东西你不画根本就说不明白，而有些你画了对你的目的没有啥关系，直接删除就好。方法论是一种语言，行业通用的，在描述设计的时候，直接说出用的方法论，这些方法论是行业通用的，自然你还未讲解针对项目的设计，听者就已经懂得七七八八了，这就是降维打击的好处。
博客
动态线程池思想学习及实践
06-13 738
简单来说，动态线程池就是能在不重新部署应用的情况下动态实时变更其核心参数，并且能对其核心参数及运行状态进行监控及告警；以便开发人员可以及时感知到实际业务中因为各种随机情况导致线程池异常的场景，并依据动态变更能力快速调整并验证参数的合理性。
博客
生成式推荐系统与京东联盟广告-综述与应用
06-13 612
当前生成式推荐系统的代表性工作（RecSysLLM[22]，P5[20][24]，How2index[18]，PAP-REC[17]，VIP5[19]，UniMAP[27]，TIGER[7]，LC-Rec[4]，TransRec[16]，M6-Rec[21]，BIGRec[23]，LMRecSys[10]，NIR[12]，RecRanker[13]，InstructRec[11]，Rec-GPT4V[14]，DEALRec[15]）可总结为：表2. 生成式推荐系统的代表性工作[26]
博客
为什么我的项目Debug运行没问题，编译成Release包就报错？
06-12 555
在Android开发中，应用在Debug模式下运行正常，而在Release模式下出现问题，是一个常见且复杂的问题。这种差异主要由于Debug和Release模式之间在编译和运行时环境配置、优化级别以及安全策略等方面的不同。理解这些差异并采取适当的解决策略，对于确保应用的稳定性和用户体验至关重要。参考文献。
博客
HBase集群数据在线迁移方案探索
06-12 641
订单本地化系统目前一个月的订单的读写已经切至jimkv存储，对应的HBase集群已下线。但存储全量数据的HBase集群仍在使用，计划将这个HBase集群中的数据全部迁到jimkv，彻底下线这个HBase集群。由于这个集群目前仍在线上读写，本文从原理和实践的角度探索对HBase集群数据的在线迁移的方案，欢迎大家补充。HBase客户端（Client）提供了Shell命令行接口、原生Java API编程接口、Thrift/REST API编程接口以及MapReduce编程接口。HBase客户端支持所有常见的DML
博客
AIGC系统中聊天小助手卡片小组件嵌套设计实践
06-12 156
AIGC系统中的聊天小助手卡片需要支持的方式往往较多，每种类型都开发一种卡片就会造成卡片臃肿；且有些卡片是有挺大的相似性的。小组件嵌套设计的方式就可以把一个卡片拆分成多种小组件的形式。这样不同的组件组合即可生产不同的卡片。在小助手这种交互范围小，种类繁多的交互设计中就比较实用了。欢迎大家多多留言交流。
博客
ClickHouse内幕（3）基于索引的查询优化
06-11 257
这里有个疑问在关闭read_in_order优化的查询计划中，系统直接默认了MergeSortingTransform的输入在Chunk内是有序的，这里其实是一个默认优化，因为order by查询的order by字段与表的order by keys的前缀列匹配，所以数据在Chunk内部一定是有序的。所以上算子往往是整个查询的瓶颈算子。Transform中保留最后一个输入的数据作为状态，对于每个输入的新数据如果跟保留的状态相同，那么忽略，如果不同则将上一个状态输出给上一个算子，然后保留当前的数据最为状态。
博客
没时间了解技术热点？让大模型帮你整理重点吧！
06-11 369
笔者对此类功能零开发经验，整个过程搜索了大量的资料并使用大模型辅助，整体感觉很不错，很多诉求大模型都可以给出比较接近的解决方案，细节问题也可以通过多轮对话进行解决。DEMO还有很多可以优化的地方，后续会优化一下抓取逻辑提供更多免费的抓取方式并加上重复文章过滤能力，对于文章解读这块也会接入一些自带搜索能力的大模型，尽量让文章的解读更准确和精炼。最后，很期待后续大模型会进化成什么样，但又有点小怕😂。不过回顾历史，解放生产力后往往会创造新的生产力，作为历史洪流中的一粒尘埃，还是顺势而为吧。
博客
奇怪！应用的日志呢？？
06-11 239
3.非原生支持SLF4J的实现，有log4j和jul，因为这两个在SLF4J之前就出现了，后面SLF4j出现后，大家觉得这个日志门面很优秀，所以出现了适配SLF4J和log4j、jul的桥接包，也就是下图中的slf4j-reload4j.jar和slf4j-jdk14.jar。注：logback、slf4j-simple.jar、slf4j-nop.jar之所以能天然支持SLF4J的接口是有原因的，slf4j-simple.jar、slf4j-nop.jar都是slf4j自带的实现框架，
博客
想提高阅读代码的效率？试试这些工具吧！
06-08 28
前言程序员间有句名言——“Talk is cheap, show me the code！”源码的确相较于言语更接近程序真实的状态，包含了更多的一手信息。因此，无论是刚开始学习代码的小白还是久经沙场的代码大神，不管是学习优秀的开源项目还是做老项目的重构，代码阅读都是开发者必备的技能之一。但在业务场景越来越复杂、迭代越来越快的背景下，提高梳理代码的效率能够极大程度的提高开发人员的工作效率，进一步为业...
博客
ClickHouse内幕（2）基础数据结构
06-07 739
ClickHouse以性能好被大家所熟知，而一个数据库的性能优化是一个庞大的系统性工程。本文着眼于ClickHouse内部的基础数据结构，以揭露ClickHouse性能优化的冰山一角。在软件工程中并不是所有的执行路径都需要优化，只有关键执行路径才需要花费大力气进行优化。对于数据库领域来说关键执行路径，一句话就可以概括，一个查询中对每行数据都需要执行的函数或者代码。而基础数据类型是关键执行路径上的算法的基础，所以对它们的优化对性能有重要影响。PS：本文的讨论基于ClickHouse 24.1。
博客
ClickHouse内幕（1）数据存储与过滤机制
06-07 844
1 为什么使用Filter Mask？1）过滤多个列的时候可以复用Filter Mask；2）便于使用SIMD指令2 为什么分组处理？因为ClickHouse数据按照主键排序，很多情况下数据按照某些列局部有序，过滤的时候可将整个分组过滤掉或者命中的概率比较大，这样相比单个行的处理方式，在处理过程中没有判断，消除了分支预测失败的场景，避免CPU执行流水线被破坏，同时增大指令与数据缓存的命中率，这也是过滤高性能的核心设计点。3 是不是使用位宽越大的SIMD指令集越好，比如AVX512一定快于SSE2？
博客
从缺陷到创新：质量保障的新视角
06-07 814
Java堆内存是JVM内存的一部分，专门用于动态分配对象和数组。它是一个运行时数据区，从JVM启动到JVM关闭，堆内存一直存在。堆内存的大小可以通过JVM启动参数进行调整，如-Xms（表示java虚拟机堆区内存初始内存分配的大小和-Xmx（表示java虚拟机堆区内存可被分配的最大上限。
博客
Junit4遇上chatGPT
06-06 438
这是一篇适合Java工程师体质的AI开发教程。本教程会教你写一个简单的junit4的Rule，该Rule在基于junit4的测试方法失败后，自动向GPT发送错误信息并通过GPT分析得出代码修改建议。
博客
大模型在推荐系统中的精准推荐策略与实践
06-06 426
推荐系统是通过分析用户的行为数据和内容特征，向用户推荐其可能感兴趣的内容或商品的技术。推荐系统的目标是提高用户满意度和平台的转化率。常见的推荐系统类型包括协同过滤、基于内容的推荐、混合推荐系统等。大模型是指通过大规模数据训练得到的深度学习模型，具有强大的特征表示和推理能力。大模型在自然语言处理、计算机视觉、语音识别等领域取得了显著成果。某大型电商平台引入大模型，旨在提升商品推荐的精准度和用户满意度。通过对用户浏览、购买、评价等行为数据的分析，构建了全面的用户画像。
博客
大模型应用之基于Langchain的测试用例生成
06-06 384
方案优点缺点适用场景方案1：将全部产品需求和研发设计文档给到大模型，自动生成用例用例内容相对准确不支持特大文档，容易超出token限制普通规模的需求及设计方案2：将全部产品需求和研发设计文档进行摘要后，将摘要信息给到大模型，自动生成用例进行摘要后无需担心token问题用例内容不准确，大部分都只能是概况性的点特大规模的需求及设计方案3：将全部产品需求和研发设计文档存入向量数据库，通过搜索相似内容，自动生成某一部分的测试用例用例内容更聚焦 无需担心token问题不是全面的用例。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值