openstack 虚机使用lvs+dr直接路由模式端口无法访问

已于 2023-11-27 09:53:51 修改
阅读量1.5k 收藏 2
点赞数 1
文章标签： openstack lvs 网络
于 2022-09-17 13:21:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45262969/article/details/126904119
版权

前期准备

节点名称节点ipvipmac地址
lvs节点10.10.10.310.10.10.250fa:16:3e:a8:a1:27
web servier110.10.10.410.10.10.250fa:16:3e:2e:0e:ce
web servier210.10.10.510.10.10.250fa:16:3e:62:56:ce
client10.10.10.10-fa:16:3e:05:b0:38

二、配置

2.1、创建vip

neutron port-create --fixed-ip ip_address=10.10.10.250 db647283-85c2-4377-880f-da59d925b430

#更改端口信息
neutron port-update 5392e500-1b61-401a-a157-bb76bed7f83a --allowed-address-pairs type=dict list=true ip_address=10.10.10.250
neutron port-update 1334a7f5-8cd5-425b-a517-c7babd078f0e --allowed-address-pairs type=dict list=true ip_address=10.10.10.250
neutron port-update f6c46789-4c28-4cbe-adc1-1e54eac99602 --allowed-address-pairs type=dict list=true ip_address=10.10.10.250

2.2、web servier安装http

#两台web均操作
#安装httpd
yum install http

#更改配置
echo 'Welcome to Apache 10.10.10.4 !!!' > /var/www/html/index.html

#启动httpd
systemctl start httpd

#测试
curl 10.10.10.4 80

2.3、配置lvs节点

关闭网络管理器
systemctl stop NetworkManager
systemctl disable NetworkManager
给当前网卡取别名
cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0:1
#配置如下
cat /etc/sysconfig/network-scripts/ifcfg-eth0:1
OTPROTO="static"
DEVICE="eth0:1"
ONBOOT="yes"
IPADDR="10.10.10.250"
NETMASK="255.255.255.0"

在这里插入图片描述

安装 ipvsadm
# 安装ipvsadm
yum install -y ipvsadm

#验证
ipvsadm -ln

在这里插入图片描述

配置lvs节点的集群规则

添加lvs集群服务器，配置规则为轮询

ipvsadm --add-service --tcp-service 10.10.10.250:80 --scheduler rr

#查看是否生效
ipvsadm -ln

在这里插入图片描述
为虚拟服务器10.10.10.250:80 添加真实服务器节点，配置dr模式

ipvsadm --add-server --tcp-service 10.10.10.250:80 --real-server 10.10.10.4:80 --gatewaying
ipvsadm --add-server --tcp-service 10.10.10.250:80 --real-server 10.10.10.5:80 --gatewaying

#查询是否配置成功
ipvsadm -ln

在这里插入图片描述

将配置保存到规则库中，否则重启将失效

ipvsadm --save

配置Real servers节点(4，5)的回环ip

复制一份lo网卡（回环地址网卡），取别名

cp /etc/sysconfig/network-scripts/ifcfg-lo /etc/sysconfig/network-scripts/ifcfg-lo:1
#配置如下
cat ifcfg-lo:1
DEVICE=lo:1
IPADDR=10.10.10.250
NETMASK=255.255.255.255
NETWORK=127.0.0.0
# If you're having problems with gated making 127.0.0.0/8 a martian,
# you can change this to something else (255.255.255.255, for example)
BROADCAST=127.255.255.255
ONBOOT=yes
NAME=loopback

#从新加载环路地址
ifup lo 或者 systemctl restart network

#查看是否生效
ip a

在这里插入图片描述

第二台同样的配置

在这里插入图片描述

配置Real servers节点(4，5)的ARP响应级别
#打开arp配置文件
vim /etc/sysctl.conf
#添加以下配置
# configration for lvs
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2

# 加载arp配置
sysctl -p

ARP(Address Resolution Protocol，地址解析协议) 配置解释

#arp-ignore 级别 筛选请求
0：只要本机配置了ip，就能响应请求
1：请求的目标地址到达对应的网络接口，才会响应请求

#arp-annouce 级别 通告行为
0：本机上任何网络接口都向外通告，所有的网卡都能接受到通告
1：尽可能避免本网卡与不匹配的目标进行通告
2：只在本网卡通告(回环)
增加路由
#用于接收数据报文，当有请求到本机后，会交给lo去处理
route add -host 10.10.10.250 dev lo:1

#配置永久路由
echo "route add -host 10.10.10.250 dev lo:1" >> /etc/rc.local
tail -n 1 /etc/rc.local
source /etc/rc.local
#查看你是否配置成功
route -n

在这里插入图片描述

三、测试

client节点访问vip的80端口

curl 10.10.10.250:80

在这里插入图片描述

lvs节点查看转发到real servier1上

在这里插入图片描述

client节点抓包，有出包没有回包

client—>lvs节点

在这里插入图片描述

lvs节点抓包，有进有出

lvs节点返回了real servier1节点的mac地址

client—>lvs

lvs–real servier1 mac–>client

在这里插入图片描述

real servier节点无进包也无出包

在这里插入图片描述

lvs对应的计算节点抓包

在这里插入图片描述

tap口有进包和出包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UdStZBlS-1663390744496)(lvs+dr直接路由模式测试.assets/image-20220915144822044.png)]
qbr抓包有进有出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5JyBCNbl-1663390744497)(lvs+dr直接路由模式测试.assets/image-20220915150452532.png)]

qvb有进包无回包

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8dqEz3yz-1663390744497)(lvs+dr直接路由模式测试.assets/image-20220915144644439.png)]

lvs节点vip及虚机安全组规则全放

四、结论

lvs虚机对应的计算节点qbr到qvb之间把回包丢弃了，导致client没有收到回报导致超时

五、解决方法

5.1、概述

​ 根据抓包情况基本判断，在LVS DR模式下，Direct会产生不完整的TCP连接（RS直接回包给Client），计算节点上Neutron默认会在安全组规则中添加一条防火墙策略检测TCP连接状态，经过状态检测后认为连接是无效状态的，就会将包丢弃，导致无法正常通信，因此需要修改Neutron代码使其不添加相关防火墙策略，并更新所有节点节点的Neutron服务

5.2、变更

方法一

备份计算节点neutron代码
  • lvs计算节点
#备份neutron代码
cp /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py-20220915
更改代码
#注释
sed -i 's/ self._setup_spoof_filter_chain/ #self._setup_spoof_filter_chain/g' /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py
sed -i 's/ mac_ipv4_pairs, ipv4_rules/ #mac_ipv4_pairs, ipv4_rules/g' /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py
sed -i 's/ mac_ipv6_pairs, ipv6_rules/ #mac_ipv6_pairs, ipv6_rules/g' /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py
sed -i 's/ self._drop_invalid_packets/ #self._drop_invalid_packets/g' /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py

#查看是否注释
grep -rn "self._setup_spoof_filter_chain" /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py
grep -rn "mac_ipv4_pairs, ipv4_rules" /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py
grep -rn "mac_ipv6_pairs, ipv6_rules" /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py
grep -rn "self._drop_invalid_packets" /usr/lib/python2.7/site-packages/neutron/agent/linux/iptables_firewall.py

##重启服务
systemctl status neutron-openvswitch-agent.service

方法二

获取lvs虚机的端口
#获取port uuid
nova interface-list fbdd2f7e-f7c9-4a9b-9d81-9ddac0e2e6d6

# neutron port-show 查看
neutron port-show 5392e500-1b61-401a-a157-bb76bed7f83a
关闭安全组
#清除allowed-address
openstack port set --no-allowed-address 5392e500-1b61-401a-a157-bb76bed7f83a
#删除安全组
neutron port-update 5392e500-1b61-401a-a157-bb76bed7f83a --no-security-groups
neutron port-update 5392e500-1b61-401a-a157-bb76bed7f83a --port-security-enabled=False

![在这里插入图片描述](https://img-blog.csdnimg.cn/4c419ff0a09c48fe8956956dc039d741.png

5.3、测试

更改后测试测试正常

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YQCNMSvG-1663390744499)(lvs+dr直接路由模式测试.assets/image-20220915163421428.png)]

因太胖被抓
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
openstack使用linux bridge+vxlan模式的网络变化与分析.pdf
11-24
"OpenStack 使用 Linux Bridge+VXLAN 模式的网络变化与分析" OpenStack 是一个开源的云计算平台，提供了丰富的网络功能，以满足不同的应用场景。其中，Neutron 是 OpenStack 的网络组件，负责管理和维护网络资源。...
LVS模式一：DR模式（ipvsadm）
运维派
02-17 549
LVS模式一：DR（Direct Routing）直接路由模式 工作原理 client -> vs -> Rs ->client DR模式下调度器和服务器组都必须在物理上有一个网卡通过不分段的局域网相连，即通过交换机或者高速的HUB相连，中间没有隔有路由器。 VIP地址为调度器和服务器组共享，调度器配置的VIP地址是对外可见的，用于接收虚拟服务的请求报文 所有的服务器把VIP地...
lvs-nat集群实验，客户机访问超时无响应问题解决
m0_74092952的博客
12-07 824
用lvs做集群实验,配置好后，访问不返回网页信息，过了一下就显示连接超时了。用了几天时间，终于找到解决办法了。
LVS负载均衡集群与LVS-NAT部署实战
SHENxuehebinghua的博客
06-10 194
负载均衡
openstack绑定浮动IP时提示无可用端口
神雕大侠062
11-09 5809
提示： 当前网络拓扑：感觉一切都正常啊，但是就是提示无可用端口！！！！！ 最终解决： （1）检查一下连接外网的这个路由器连外网的接口类型，如果是router-interface，那么应该就会提示无可用端口，这个应该是我们先创建路由器，然后在连接外网，最终导致了这种类型。 （2）重新建路由器，在创建路由器的时候就选择外网，这样就能让连接接口类型是router_gateway了。 ...
LVS验证不过报错schematic export failed or was cancelled .....
最新发布
white_cabbage的博客
09-14 1850
calibre lvs Question
如何使用Rally+Docker测试OpenStack
02-26
通过使用Docker容器化，将Rally独立于宿主机OS，而单独运行在容器中，可以做到系统隔离，平台复用和分布式测试等高效用途。社区对OpenStack的集成测试工具采用Tempest，性能测试采用Rally。众所周知，性能测试一般是...
Openstack+Kubernetes+Docker微服务实践之路--RPC
02-25
重点来了，本文全面阐述一下我们的RPC是怎么实现并如何使用的，跟Kubernetes和Openstack怎么结合。在选型一文中说到我们选定的RPC框架是ApacheThrift，它的用法是在Main方法中重启服务，在Client端连接服务去调用，...
OpenStack之虚机热迁移的代码详细解析
09-30
本篇文章主要介绍了OpenStack之虚机热迁移，有需要的朋友可以了解下。
关于openstack下虚拟机端口开放的问题
Chris'blog
10-11 2733
  首先交代下背景：由于想比较openstack下各种热迁移方法的性能，我开放了将要迁移的实例的8000端口，然后执行一个脚步程序，从远端不断请求访问这个实例，与此同时进行热迁移，记录迁移时间及效率。然而，在开放端口后，远端并不能访问该实例。 此时，将宿主节点的防火墙重新关闭： systemctl start iptables.service systemctl stop iptables...
Openstack: Security Group: Neutron & Dragonflow；port_security_enabled；allowed_address_pairs
mzhan017的博客
02-04 385
搜索到的资料，供参考。 https://docs.openstack.org/developer/dragonflow/specs/security_groups.html Neutron的实现是在OVS桥和VM端口之间路径上添加了一个Linux桥。Linux桥是通过IP table 规则来实现端口的安全组。（因为OVS不支持iptables的配置） Current Neutron implementation adds a linux bridge in the path between each por
FusionSphere openstack 查看所有虚机端口并且添加浮动ip
xchong3的专栏
05-16 2717
查看所有虚机端口neutron port-list  --all   给虚机设置浮动ipneutron port-update a0e1a401-2cbc-44e2-b991-e5f89ff78929 --allowed-address-pair --allowed-address-pair ip_address=172.24.109.200,mac_address=fa:16:3e:a4:61:...
Openstack web界面登录异常处理
漠效的博客
11-10 8380
前言 报错 <1> 某天正在使用openstack时，突然被退出了，输入平常的账号和密码，却弹出Unable to establish connection to keystone endpoint（无法建立与keystone终结点的连接） Unable to establish connection to keystone endpoint Missing value auth-url required for auth plugin password 在控制台输入openstack
centos7搭建openstack平台遇到的问题
世界和平
11-19 2769
1.keystone认证失败问题： Failed to discover available identity versions when contacting http://controller:35357/v3. Attempting to parse version from URL. keystone需要开启5000和35357的两个端口，有时候你会发现你的5000端口启动了，可是353...
openstack中手动修改虚拟机IP后不能通信
weixin_33971205的博客
10-25 285
问题现象：创建两个虚拟机1,2虚拟机名称IPMACTap1192.168.0.13Fa:16:3e:88:d4:44tapcab815a8-ca2192.168.0.5Fa:16:3e:2a:9f:86tap81b52628-66修改1的IP为192.168.0.100，在2上ping 192.168.0.100，结果如下：不通！定位过程：在1上抓包，如下：主机1可以收到ar...
LVS解决无法访问httpd或者访问无响应问题
ck784101777的博客
08-17 3180
LVS调度器的配置如下 [root@proxy ~]# ipvsadm -C [root@proxy ~]# ipvsadm -A -t 192.168.4.5:80 -s wrr　　 [root@proxy ~]# ipvsadm -a -t 192.168.4.5:80 -r 192.168.2.100 -w 1 -m [root@proxy ~]# ipvsadm -a ...
LVS负载均衡（DR直接路由模式）
Mr_XHC的博客
12-08 384
文章目录一、LVS-DR工作原理1.1 DR模式的原理1.2 LVS-DR数据包流向分析1.3 群集中的ARP问题1.4 解决问题的方法二、LVS-DR部署案例案例环境部署步骤NFS服务器Web服务器 一、LVS-DR工作原理 1.1 DR模式的原理 Direct Routing，简称DR模式 在DR模式中，LVS负载调度器作为集群的访问入口，但是不作为网关使用，web节点都各自通过l路由器接入Interner。 web节点和调度器同一网段，入从调度器，出从web节点。 1.2 LVS-DR数据包流向分
openstack报未能连接接口的错误
liu_baoqing的博客
06-29 1332
一、确认问题 1、在dashboard页面上为一台虚机连接一个新的接口，但是页面报未能连接接口： 2、然后查看neutron的日志看到如下报错： 3、估计是不支持vlan网络，然后看下openvswitch的配置文件： vim /etc/neutron/plugins/ml2/openvswitch_agent.ini 二、解决问题： 1、没有发现bridge_mappings的配置，添加如下新配置： bridge_mappings = vlan:br-vlan 2、添加..
openstack如何端口与端口直接连接
06-09
在 OpenStack 中，您可以使用 Neutron 端口连接功能（Port Pair）来实现端口与端口之间的直接连接。具体来说，您可以按照以下步骤进行操作： 1. 创建网络服务：使用 OpenStack Neutron 创建网络服务，例如负载均衡...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值