解除openstack中instance对IP的限制（在虚拟机中飘VIP）

最新推荐文章于 2024-08-16 16:30:28 发布
最新推荐文章于 2024-08-16 16:30:28 发布
阅读量2k 收藏
点赞数

最近公司的几个关键业务跑在openstack中的虚拟机中，想把几个虚拟机做成负载均衡和高可用集群。


对于负载均衡，G版本已经集成了haproxy插件，对haproxy的配置做了一层封装，可以很方便的通过quantum去创建一个负载均衡池，为相同或者不同宿主机上的虚拟机提供负载均衡的能力。


在这个模式下，haproxy是运行在宿主机上的。

遗憾的是，目前还不能通过openstack做到haproxy的高可用。


想要做高可用，只能在虚拟机中去飘VIP了


但是创建了虚拟机之后，在这个虚拟机实例中只能使用指定的IP。

这就导致想在虚拟机中部署高可用去飘VIP是不可行的。


可以理解，在公有云环境下，是不可能让用户在虚拟机中随意去配置额外地址的。

但我们是私有云环境，这个规则对私有云环境下很是麻烦。

在openstack中创建虚拟机，通过nova boot的--nic选项指定网卡和IP地址：

--nic net-id=${NETWORK_ID},v4-fixed-ip=${Host_IP}


之前一直以为是iptables规则导致的。于是去看了一遍宿主机中的iptables规则

root@node1:~# iptables -vnL

Chain INPUT (policy ACCEPT 3556K packets, 744M bytes)

pkts bytes target prot opt in out source destination

1778K 372M nova-compute-INPUT all -- * * 0.0.0.0/0 0.0.0.0/0


Chain FORWARD (policy ACCEPT 0 packets, 0 bytes)

pkts bytes target prot opt in out source destination

150 13488 nova-filter-top all -- * * 0.0.0.0/0 0.0.0.0/0

6 1392 nova-compute-FORWARD all -- * * 0.0.0.0/0 0.0.0.0/0


Chain OUTPUT (policy ACCEPT 4208K packets, 567M bytes)

pkts bytes target prot opt in out source destination

4202K 567M nova-filter-top all -- * * 0.0.0.0/0 0.0.0.0/0

2106K 284M nova-compute-OUTPUT all -- * * 0.0.0.0/0 0.0.0.0/0


Chain nova-compute-FORWARD (1 references)

pkts bytes target prot opt in out source destination

4 1312 ACCEPT udp -- * * 0.0.0.0 255.255.255.255 udp spt:68 dpt:67

2 80 ACCEPT all -- brq3eefcd79-07 * 0.0.0.0/0 0.0.0.0/0

0 0 ACCEPT all -- * brq3eefcd79-07 0.0.0.0/0 0.0.0.0/0


Chain nova-compute-INPUT (1 references)

pkts bytes target prot opt in out source destination

2 656 ACCEPT udp -- * * 0.0.0.0 255.255.255.255 udp spt:68 dpt:67


Chain nova-compute-OUTPUT (1 references)

pkts bytes target prot opt in out source destination


Chain nova-compute-inst-15 (1 references)

pkts bytes target prot opt in out source destination

0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID

0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0

0 0 ACCEPT udp -- * * 10.16.0.102 0.0.0.0/0 udp spt:67 dpt:68

0 0 ACCEPT all -- * * 10.16.0.0/24 0.0.0.0/0

0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0

0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmptype 8 code 8

0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0


Chain nova-compute-inst-17 (1 references)

pkts bytes target prot opt in out source destination

0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0 state INVALID

0 0 ACCEPT all -- * * 0.0.0.0/0 0.0.0.0/0 state RELATED,ESTABLISHED

0 0 nova-compute-provider all -- * * 0.0.0.0/0 0.0.0.0/0

0 0 ACCEPT udp -- * * 10.16.0.102 0.0.0.0/0 udp spt:67 dpt:68

0 0 ACCEPT all -- * * 10.16.0.0/24 0.0.0.0/0

0 0 ACCEPT tcp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

0 0 ACCEPT udp -- * * 0.0.0.0/0 0.0.0.0/0 multiport dports 1:65535

0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0

0 0 ACCEPT icmp -- * * 0.0.0.0/0 0.0.0.0/0 icmptype 8 code 8

0 0 nova-compute-sg-fallback all -- * * 0.0.0.0/0 0.0.0.0/0


Chain nova-compute-local (1 references)

pkts bytes target prot opt in out source destination

0 0 nova-compute-inst-15 all -- * * 0.0.0.0/0 10.16.0.111

0 0 nova-compute-inst-17 all -- * * 0.0.0.0/0 10.16.0.131


Chain nova-compute-provider (2 references)

pkts bytes target prot opt in out source destination


Chain nova-compute-sg-fallback (2 references)

pkts bytes target prot opt in out source destination

0 0 DROP all -- * * 0.0.0.0/0 0.0.0.0/0


Chain nova-filter-top (2 references)

pkts bytes target prot opt in out source destination

2106K 284M nova-compute-local all -- * * 0.0.0.0/0 0.0.0.0/0


分析一下这些openstack自动生成的规则，可以看到input，forword和output链默认都是accept状态。分析每条链对数据包的跳转和过滤，如果在虚拟机中配置新的地址，是不会被过滤的。


经过一番折腾，最终发现限制IP的原因是ebtables在起作用

root@node1:~# ebtables -t nat -L

Bridge table: nat


Bridge chain: PREROUTING, entries: 2, policy: ACCEPT

-i tap0678bf1d-41 -j libvirt-I-tap0678bf1d-41

-i tap496fa038-9e -j libvirt-I-tap496fa038-9e


Bridge chain: OUTPUT, entries: 0, policy: ACCEPT


Bridge chain: POSTROUTING, entries: 0, policy: ACCEPT


Bridge chain: libvirt-I-tap0678bf1d-41, entries: 4, policy: ACCEPT

-j I-tap0678bf1d-41-mac

-p IPv4 -j I-tap0678bf1d-41-ipv4-ip

-p ARP -j I-tap0678bf1d-41-arp-mac

-p ARP -j I-tap0678bf1d-41-arp-ip


Bridge chain: I-tap0678bf1d-41-mac, entries: 2, policy: ACCEPT

-s fa:16:3e:a6:5f:70 -j RETURN

-j DROP


Bridge chain: I-tap0678bf1d-41-ipv4-ip, entries: 3, policy: ACCEPT

-p IPv4 --ip-src 0.0.0.0 --ip-proto udp -j RETURN

-p IPv4 --ip-src 10.16.0.131 -j RETURN

-j DROP


Bridge chain: I-tap0678bf1d-41-arp-mac, entries: 2, policy: ACCEPT

-p ARP --arp-mac-src fa:16:3e:a6:5f:70 -j RETURN

-j DROP


Bridge chain: I-tap0678bf1d-41-arp-ip, entries: 2, policy: ACCEPT

-p ARP --arp-ip-src 10.16.0.131 -j RETURN

-j DROP


Bridge chain: libvirt-I-tap496fa038-9e, entries: 4, policy: ACCEPT

-j I-tap496fa038-9e-mac

-p IPv4 -j I-tap496fa038-9e-ipv4-ip

-p ARP -j I-tap496fa038-9e-arp-mac

-p ARP -j I-tap496fa038-9e-arp-ip


Bridge chain: I-tap496fa038-9e-mac, entries: 2, policy: ACCEPT

-s fa:16:3e:58:1:ac -j RETURN

-j DROP


Bridge chain: I-tap496fa038-9e-ipv4-ip, entries: 3, policy: ACCEPT

-p IPv4 --ip-src 0.0.0.0 --ip-proto udp -j RETURN

-p IPv4 --ip-src 10.16.0.111 -j RETURN

-j DROP


Bridge chain: I-tap496fa038-9e-arp-mac, entries: 2, policy: ACCEPT

-p ARP --arp-mac-src fa:16:3e:58:1:ac -j RETURN

-j DROP


Bridge chain: I-tap496fa038-9e-arp-ip, entries: 2, policy: ACCEPT

-p ARP --arp-ip-src 10.16.0.111 -j RETURN

-j DROP


ebtables是linux专门做二层数据链路层过滤的。


在通过nova创建虚拟机后，会生成libvirt的一个xml配置文件

路径在：/etc/libvirt/nwfilter/nova-base.xml

里面定义了以下规则，这些规则限制了在虚拟机上的地址，在二层上就做了过滤

<filter name='nova-base' chain='root'>

<uuid>12ec8693-253a-7db0-7cd3-f8cc0a1e1b02</uuid>

<filterref filter='no-mac-spoofing'/>

<filterref filter='no-ip-spoofing'/>

<filterref filter='no-arp-spoofing'/>

<filterref filter='allow-dhcp-server'/>

</filter>


然后为每个虚拟机创建一个xml文件，每个虚拟机的xml配置中包含了nova-base.xml中的配置

打开其中一个虚拟机的xml配置，可以看到，这个配置文件中只放行了指定IP在二层上可以通过，所以其它手动配置的地址是不可用的。

cat /etc/libvirt/nwfilter/nova-instance-instance-0000000f-fa163e5801ac.xml

<filter name='nova-instance-instance-0000000f-fa163e5801ac' chain='root'>

<uuid>972d18be-2db0-4bf2-2853-a0a61beac036</uuid>

<filterref filter='nova-base'>

<parameter name='DHCPSERVER' value='10.16.0.102'/>

<parameter name='IP' value='10.16.0.111'/>

<parameter name='PROJMASK' value='255.255.255.0'/>

<parameter name='PROJNET' value='10.16.0.0'/>

</filterref>

</filter>


libvirt可以通过在这些xml配置的规则，去生成ebtables规则，最终是ebtables做出限制。


如何破解？

修改nova-base.xml文件

注释掉以下三行

<filterref filter='no-mac-spoofing'/>

<filterref filter='no-ip-spoofing'/>

<filterref filter='no-arp-spoofing'/>

然后重启libvirt进程，libvirt会重新读取xml中的配置，生成新的ebtables规则。

修改后，我通过新建虚拟机，重启nova-computer进程，或者直接重启宿主机，这个base文件都不会发生变化了。


还有就是修改nova源码（未测试）

源码位置在

/usr/lib/python2.7/dist-packages/nova/virt/libvirt/firewall.py

第198行（G版本中）

151457483.jpg

去掉no-mac-spoofing,no-ip-spoofing,no-arp-spoofing这三行，以后生成nova-base.xml文件就可以不包含这3个选项了。


本文出自 “lustlost-迷失在欲望之中” 博客，请务必保留此出处http://lustlost.blog.51cto.com/2600869/1324832

junheart
关注
解除OpenStack中实例对IP的限制
UtoBug的博客
09-28 139
在OpenStack中，实例（Instance）是虚拟机的一个具体实例。然而，默认情况下，OpenStack会对实例的IP地址进行限制，只允许使用预定义的IP地址范围。通过以上步骤，你可以成功解除OpenStack中实例对IP的限制，并使用自定义的IP地址范围为实例分配IP地址。现在，你可以创建一个新的实例，并为其分配在自定义IP地址范围内的IP地址。完成配置文件的修改后，我们需要重启Nova服务，使其加载新的配置。首先，我们需要修改Nova服务的配置文件，以允许使用自定义的IP地址范围。
openstack关闭安全组（网络端口）的限制
Linux_kiss的博客
09-26 5015
1、查看用户的项目ID openstack project list | grep ucs_project 2、查看该用户的安全组ID openstack security group list | grep 0db3f2e41e024bebad661f785eec3af2 0db3f2e41e024bebad661f785eec3af2 为该用户的项目ID 3、查找该用户的主机I...
openstack 虚拟机配置VIP
最新发布
weixin_44923267的博客
08-16 376
allowed_address_pairs 是 OpenStack Neutron 中的一个属性，允许用户在虚拟机（VM）接口上配置额外的 IP 地址或 MAC 地址。编辑每台虚拟机上的 Keepalived 配置文件（通常位于 /etc/keepalived/keepalived.conf）系统将自动允许此 IP 与当前端口的 MAC 地址配对。创建port来占用Vip，保证neutron不会将此IP在分配出去，避免后续虚拟机自动分配P冲突问题。vip_address：需要给虚拟机配置的VIP。
解除openstack中instance对IP的限制
weixin_33797791的博客
07-24 96
ebtables是linux专门做二层数据链路层过滤的。root@node1:~# ebtables -t nat -LBridge table: natBridge chain: PREROUTING, entries: 2, policy: ACCEPT-i tap0678bf1d-41 -j libvirt-I-tap0678bf1d-41-i tap496fa038-...
openstack虚拟机配置vip
u011659193的博客
02-22 4217
openstack配置vip 1.导入环境变量 source admin-openrc.sh 2.执行命令neutron net-list查看网络，找到自己需要设置的网络，获取subnet_id和network_id 3.创建port来占用ip，保证neutron不会将此IP在分配出去，导致IP冲突问题。 neutron port-create --fixed-ip subnet_id=&lt;s...
openstack 虚拟机网络规则设置
漫步
12-30 1959
我的网络使用的是nova-network,单host,flatdhcp同网段网络在nova.conf里设置allow_same_net_traffic=true 跨网段默认情况下，跨网段是不通的, 环境如下：10.1.81.210上有WIN7虚拟机user1 10.1.81.215 从10.1.81.210 ping 10.1.81.215通 但从10.1.166.4 ping 10.1.81
OpenStack
xwy9526的博客
12-11 3495
文章目录 什么是云计算 基于互联网的相关服务的增加、使用和交付模式 这种模式提供可用的、便捷的、按需的网络访问,迚入可配置的计算资源共享池 这些资源能够被快速提供,只需投入很少的管理工作,戒不服务供应商迚行很少的交互 通常涉及通过互联网来提供劢态易扩展且经常是虚拟化的资源 云计算服务模型 一、IaaS IaaS是Infrastructure as a server的缩写，意思是基础设施即服务。云端公司把IT环境的基础设施建设好，然后直接对外出租硬件服务器或者虚拟机。消费者可以利用所有计算基础设施，包括处理C
kolla部署collectd，telegraf，influxdb，grafana监控openstack虚拟机和宿主机状态
dandanfengyun的博客
04-23 1837
之前使用collectd+influxdb+grafana监控虚拟的状态。设置collectd直接将数据传入influxdb。 需要自己找collectd的types.db文件格式供influxdb使用。且需要将types.db文件手动写入influxdb容器内，influxdb容器才能成功运行。 https://blog.csdn.net/dandanfengyun/article/details/113510416 https://blog.csdn.net/dandanfengyun/article/
【openstack】【nova】nova 删除云主机流程及代码分析
我和二代是室友
04-15 4225
正常情况下删除云主机的操作，主要采用如下两个方式：1. is_local_delete = True 采用local_delete()2. is_local_delete = False 采用compute_rpcapi.terminate_instance()云主机在如下的状态下vm_statesvm_states.SHELVED, vm_states.SHELVED_OFFLOADED下，会采...
openstack 管理四十七 - 为云主机添加多个 IP 地址
Terry Tsang
07-09 406
目的 默认情况下一个主机只绑定一个地址 有可能云主机需要一个新的 VIP 用于 keepalive 为云主机绑定多个 IP 地址 步骤 查询租户， 需要指定网络添加到云主机对应的租户中 查询 NETWORK ID 创建 PORT 需要用 创建一个新的 network port 为云主机绑定新的 NETWORK PORT 查询租户 ex: mgmt 租户 # keystone tenant-list | grep MGMT | 3bf7f92c8b1449a8814b1cf15e1d1cda |
openstack里给云主机配置vip
weixin_30613343的博客
05-23 445
给虚机开通vip 新建使用vip: neutron port-update 47cfbb20-ed8d-4863-beb5-9896443996d4 --allowed_address_pairs list=true type=dict mac_address=fa:16:3e:32:4f:57,ip_address=20.26.56.100 neutron port-update 69d4...
openstack新建虚拟机并绑定网络（外网和私网连接）
A316010381的博客
03-22 1442
openstack新建虚拟机并绑定网络（外网和私网连接） 1. 新建虚拟机 简单，不说了； 2. 绑定浮动ip（让虚拟机连接外网） 为了让自己的笔记本可以访问创建的虚拟机，给其分配一个外网的ip地址； 3.将volume（相当于网盘）...
openstack平台虚拟机vip设置
weixin_33924220的博客
06-24 2147
虚拟机vip设置 1. 创建vip port 2. 更新端口信息 3. 给vip绑定浮动ip(vlan网络模式无需操作) openstack平台 port与mac地址是强绑定关系，所以当在虚拟机上启动keepalived vip时如果不做操作无法被外面通行到，作如下操作即可 1. 创建vip port source ...
virsh 网络设置_KVM使用Network Filters进行虚拟机网络管理 | leon的博客
weixin_42363501的博客
01-14 763
1.1 Network Filters介绍Network filtering XML为虚拟化系统管理员提供了一种网络流量的过滤规则，系统管理员可以通过配置过滤参数实施和管理对虚拟机网络流量的接受和转发，由于过滤规则不能绕过直接进入虚拟机内，使得一个filter对虚拟用户的访问控制具有强制性。Network filtering 子系统允许每一个虚拟机的网络过滤表可以被单独配置，我们可以在启动时配置虚...
OpenStack 虚拟机启用VIP
weixin_34334744的博客
10-27 484
这里介绍两种方式 1、 keepalived + allow_address_pairs实现虚拟机高可用 # keepalived实现instance high available（Neutron flat网络模式下） [root@openstack-1 ~(keystone_admin)]# neutron net-list （找出pub-net的id号） [root@openstack-1...
如何给openstack虚拟机配置静态IP
weixin_30247781的博客
06-19 544
1、引子 公司大部分的虚拟机都是跑在KVM上，创建完虚拟机可以随意修改IP地址，最近有一部分跑在openstack上，创建时指定了IP地址，创建后又由于规范化和业务需要修改IP地址，所以就有了此文 openstack创建虚拟机命令如下： nova boot --flavor 9 \ --image java \ --key-name mykey \ --availabil...
我非要捅穿这 Neutron（二）上层资源模型篇
烟云的计算
03-13 2789
目录 文章目录目录Neutron 的资源模型Network运营商网络和租户网络创建运营商网络创建租户网络创建外部网络Network 小结SubnetIP 核心网络服务SubnetPools 资源模型Multi-Segments创建 SubnetNetwork 与 Subnet 的一对多关系PortNeutron 安全组（Security Group）可用地址对（Allowed address pa...
OpenStack中Cloud-Init初始化虚拟机与应用自动化部署
本文主要探讨了如何初始化虚拟机并搭建小型Access数据库实录，重点介绍了OpenStack中的自动部署机制。初始化虚拟机是配置新虚拟机的关键步骤，包括安装OpenSSH Server、注入用户KeyPair、上传JDK和Agent文件、配置...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值