在标题为“ 针对SAS Foundation混合工作负载的新的软件定义的融合基础结构”的技术简介中，您将了解新的软件定义的融合基础结构。 该技术简介介绍了一种架构和方法，可为用于SAS内部测试的SAS混合分析工作负载提供出色的性能。 融合基础架构的关键元素包括IBM®Elastic Storage Server（ESS），IBMPower®服务器以及Mellanox的基于以太网的存储结构。
本文介绍了测试的目的，目标和结果，包括测试背后的技术细节，测试环境的规范以及有关这些测试的测试方案和性能数据的详细信息。 最后，您将找到有关调整融合基础架构以实现最佳性能的准则。
系统架构，配置，调整和文件系统创建
图1说明了用于在实验室环境中使用IBM Elastic Storage Server和IBM Power E880服务器测试SAS软件的体系结构和配置。 图2显示了ESS网络配置。
图1. IBM Power服务器和IBM Elastic存储服务器上的SAS解决方案架构
图2. ESS网络硬件配置
组态
本节描述了体系结构中每个组件的详细配置。
软件
- SAS 9.4 TS1M3 64位
- IBM AIX 7.2（7200-00-02-1614）
- IBMPowerVM®企业版
- 虚拟I / O服务器（VIOS）2.2.3.50
- IBM Spectrum Scale™（以前为IBM GPFS）4.2.1.1
- IBM ESS版本4.5.1
- 红帽7.1
- MLNX-OS 3.3.6.1002
网络配置
- IBM Switch型号：8831-NF2（Mellanox SX1710）
- Mellanox ConnectX-3 40GbE适配器IBM功能代码EC3A
- 36端口40GbE / 56GbE交换机
- MLNX-OS版本3.6.1002
- 全局暂停流控制已启用
- 仅TCP / IP流量
IBM Power System E880服务器配置
- 型号：9119-MHE
- 固件版本：IBM FW830.00（SC830_048）
- 处理器架构：POWER8
- 时钟速度：4356 MHz
- SMT：OFF，2、4、8（SMT4是默认设置，在基准测试期间使用）
- 内核：64个（受测LPAR为62个内核，VIOS为2个内核）
- 内存：512 GB（被测试的LPAR为384 GB，VIOS为8 GB）
- 内置驱动器：十二个600 GB（用于引导VIOS和LPAR）
- 四个扩展抽屉，每个抽屉在一个x16插槽中带有一个40GbE双端口适配器（IBM Feature Code EC3A）
ESS配置
- 型号：5146-GL4
- 两台IBM Power System S822L作为I / O服务器
- 256 GB（16 x 16GB DRAM）
- 用于xCat管理服务器的IBM Power System S821L服务器
- IBM 7042-CR8机架安装式硬件管理控制台（HMC）
- 存储接口：每个I / O服务器三个LSI 9206-16e四端口6Gbps SAS适配器（A3F2）
- I / O网络：每个I / O服务器三个3个2端口双40GbE Mellanox ConnectX-3适配器（EC3A）
- 每个ESS I / O服务器的3个Mellanox适配器端口的ALB绑定
- 独立磁盘冗余阵列（RAID）控制器：IBM PCIe IPR SAS适配器。 每个服务器一个IPR适配器，用于每个服务器的RAID 10 OS引导驱动器
- 开关：
- 一台带有两个VLAN的1GbE交换机，为服务和管理网络提供两个隔离的子网。
- IBM 8831-NF2 – 40GbE交换机，Mellanox型号SX1710
- 四个DCS3700 JBOD 60驱动器机箱（1818-80E，60个驱动器插槽）
- 每个带有58个2 TB 7.2K LN-SAS HDD +两个400 GB固态驱动器（SSD）
- 16条SAS电缆
ESS Spectrum Scale文件系统创建
以下Spectrum Scale文件系统参数用于创建SASWORK，SASDATA和SASUTIL应用程序存储空间。 最初创建了各种文件系统块大小，并对其性能进行了测试。
通常，可以通过获取应用程序的块大小并将其乘以32来计算Spectrum Scale文件系统的块大小。IBM ESS使用GPFS本机RAID（GNR）。 一个简单的解释是，GNR将文件系统块的大小划分为32个子块，以便逐步过渡到磁盘子系统。
但是，使用256 KB的SAS BUFSIZE，在实验室环境中使用各种文件系统块大小进行的SAS工作负载测试确定8 MB或16 MB的文件系统块大小表现最佳。
示例文件系统创建和安装命令：
# gssgenvdisks --vdisk-suffix _sasdata_8m --create-vdisk --create-filesystem --filesystem-name sasdata_8m --data-vdisk-size 4000 --data-blocksize 8M
# mmmount all
Fri Jun 3 19:21:25 CDT 2016: mmmount: Mounting file systems ...
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda3 246G 3.0G 244G 2% /
devtmpfs 60G 0 60G 0% /dev
tmpfs 60G 0 60G 0% /dev/shm
tmpfs 60G 95M 60G 1% /run
tmpfs 60G 0 60G 0% /sys/fs/cgroup
/dev/sda2 497M 156M 341M 32% /boot
/dev/sasdata_1m 16T 264M 16T 1% /gpfs/sasdata_1m
/dev/saswork_1m 16T 264M 16T 1% /gpfs/saswork_1m
/dev/sasutil_1m 7.9T 264M 7.9T 1% /gpfs/sasutil_1m
/dev/sasutil_4m 7.9T 288M 7.9T 1% /gpfs/sasutil_4m
/dev/saswork_4m 16T 288M 16T 1% /gpfs/saswork_4m
/dev/sasdata_4m 16T 288M 16T 1% /gpfs/sasdata_4m
/dev/sasdata_8m 16T 320M 16T 1% /gpfs/sasdata_8m
/dev/sasutil_8m 7.9T 320M 7.9T 1% /gpfs/sasutil_8m
/dev/saswork_8m 16T 16T 0 100% /gpfs/saswork_8m工作量，测试方案和结果
本节描述了用于执行测试的工作负载，测试方案以及详细的结果。
工作量
性能验证期间使用的工作负载是SAS Foundation混合分析工作负载。 该工作负载包含多个同时运行的分析作业。 这些工作强调给定IT基础架构的计算，内存和I / O功能。
工作负载包括20个单独的SAS程序测试：十个计算密集型，两个内存密集型和八个I / O密集型。 一些测试使用现有的数据存储运行，而某些测试则生成自己的数据以在测试运行期间执行。 测试是短期（以分钟为单位）和长期（以小时为单位）作业的组合。 重复测试以同时运行，或以串行方式运行，或两者都运行，以实现20个测试的平均并发工作负载或30个测试的平均并发工作负载。 20个测试的工作负载包含71个运行的作业，而30个测试的工作负载包含101个运行的作业。 在峰值负载期间，经过30个测试的工作负载可以使用55个处理器，并同时生成I / O密集型作业。
工作负载的性能指标是工作负载响应时间 （以分钟为单位），它是工作负载中所有作业的累计实时时间。 响应时间越短越好。 但是，还研究了其他性能指标，例如处理器时间（用户+系统时间），服务器利用率和I / O吞吐量。 收集这些指标是为了了解启用压缩后对性能的影响。
从SAS作业的日志文件中捕获工作负载响应时间（实时）和处理器时间（用户+系统时间）。 这些统计信息使用SAS FULLSTIMER选项记录。 从IBMPOWER7®处理器体系结构开始，IBM Power Systems™使用处理器利用率资源寄存器（PURR）计费来准确报告系统使用情况。 需要将POWER8处理器的PURR因子应用于文档中描述的处理器时间指标。 有关PURR因子的更多详细信息，请参阅“ 在具有IBM XIV存储系统和IBM FlashSystem的基于IBM POWER8处理器的系统上进行SAS Business Analytics部署 ”并阅读其附录B。
测试场景
作为基准测试的一部分，运行了以下方案：
- 单节点测试：20次测试混合分析工作负载
- 可伸缩性测试：20次和30次测试的混合分析工作负载
- 使用以56GbE速度运行的Mellanox光纤网进行测试：30次测试混合分析工作负载
该测试是在服务器和存储系统上都没有竞争性工作负载的情况下进行的。 测试团队收集了工作负载，主机端和存储端性能指标，并在基准测试和最终测试之间进行了比较。
检测结果
本节描述了执行的测试方案的结果。
单节点测试：20次测试混合分析工作负载
用于测试20个测试的混合分析工作负载的逻辑分区（LPAR）的配置包括：
- 运行SMT4的16个内核（专用模式）
- 96 GB记忆体
- 1个40GbE端口
- Spectrum Scale文件系统（SASWORK，SASDATA和SASUTIL）的16 MB块大小
图3.在单个节点上进行20个测试的混合分析工作负载的网络I / O吞吐量
图4.在单个节点上进行20个测试的混合分析工作负载的处理器利用率
图3和图4显示了20个测试的单节点测试的网络I / O吞吐量和处理器利用率。 以下是主要结果：
- 实时时间为1073分钟，用户+系统时间为793分钟（应用的PURR系数为0.6）。
- 平均和峰值I / O吞吐量分别为2.75 GBps和4 GBps。
- 考虑到16个内核，I / O吞吐量约为每个内核175 MBps。
- 在分配给LPAR的16个内核中，处理器利用率为60％。
可扩展性测试：20次测试混合分析工作负载
可伸缩性测试是通过线性地缩放工作负载和节点来执行的-将20个测试的工作负载从一个节点（具有20个并发测试）扩展到四个节点（具有80个并发测试，每个节点包括20个并发测试）。 后端存储和计算与扩展工作负载相同。 一节点，二节点，三节点和四节点测试分别总共运行了20、40、60和80个混合分析工作负载测试。 还使用了30个测试混合分析工作负载（从一个节点到4个节点）进行了类似的可伸缩性测试。
用于可伸缩性测试的LPAR的配置包括：
- 两个LPAR的16个内核（专用模式），另外两个LPAR的15个内核（专用模式）
- SMT4
- 每个LPAR 96 GB内存
- 每个LPAR 1个40GbE端口
- Spectrum Scale文件系统（SASWORK，SASDATA和SASUTIL）的16 MB块大小
图5. 20次可伸缩性测试的性能指标摘要
图5中总结了具有20个测试工作量的可伸缩性测试的结果。图6至图10中的图形提供了在测试过程中实现的I / O吞吐量。
图6.缩放到四个节点时的平均和累积实时
图7.在单个节点上进行20个测试的工作负载的I / O吞吐量
图8.将20个测试的工作负载扩展到两个节点时的I / O吞吐量（总共40个测试）
图9.将20个测试的工作负载扩展到三个节点时的I / O吞吐量（总共60个测试）
图10.将20个测试的工作负载扩展到四个节点时的I / O吞吐量（总共80个测试）
使用以56GbE速度运行的Mellanox光纤网进行测试
本节介绍Mellanox光纤网，其在环境中的配置以及测试结果。
具有ESS的Mellanox 56GbE织物
Power IO产品组合中的IBM可以通过使用功能代码EC3A / EC3B适配器和Switch 8831-NF2（通过电缆EB40-EB42和EB4A-连接）在40GbE上为基于ESS的存储解决方案构建完整的端到端Mellanox结构。 EB4G。 这样做可提供强大的低延迟（约330ns端口到端口）基于以太网的TCP / IP存储结构。
此存储部署的有趣之处在于，Mellanox交换机可以在仅Mellanox 56GbE模式下运行光纤网络。 通过将交换机上每个端口的线速度条目更改为56000，您可以从现有网络硬件中获得40％的额外带宽，而无需任何进一步的投资。 所使用的电缆必须能够以56GbE的速度运行。 使用的适配器可以自动与交换机协商速度。
在实验室环境中，将网络交换机，主机和客户端的端口调整为以56GbE的速度运行，并重复测试以查看性能提高。
在Mellanox光纤网以56GbE速度运行的情况下，执行了以下测试以衡量与40GbE速度相比的性能优势。
- 使用gpfsperf工具进行I / O测试
- 30次测试工作负载–单节点以及四个节点的可伸缩性测试
使用gpfsperf工具在四个节点上的I / O测试结果
作为Spectrum Scale部署的一部分，可以使用几种现成的性能工具（例如gpfsperf和nsdperf）来帮助验证系统性能。 请参阅本文“ 其他阅读 ”部分中引用的Spectrum Scale文档，以查找有关这些工具的信息。 gpfsperf工具可用于测量Spectrum Scale（GPFS）文件系统上的读取，写入和读取/写入I / O性能。 当网络端口以40GbE和56GbE速度运行时，该工具用于测量I / O吞吐量。 该工具在所有四个节点上同时运行，以强调网络和ESS存储。 图11显示了端口在40GbE和56GbE速度下的I / O吞吐量的比较。
图11.当结构以40GbE和56GbE速度运行时，使用测试工具获得的I / O吞吐量的比较
使用gpfsperf工具进行的测试表明，无需任何其他基础结构或不升级现有的网络基础结构，总体读/写I / O吞吐量（70:30）可提高8％至10％。 测试期间已达到ESS GL4存储I / O吞吐量限制。
示例gpfsperf顺序写入命令：
/usr/lpp/mmfs/samples/perf/gpfsperf create seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 -n 3072M &示例gpfsperf顺序读取命令：
/usr/lpp/mmfs/samples/perf/gpfsperf read seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 &示例gpfsperf顺序读/写命令：
/usr/lpp/mmfs/samples/perf/gpfsperf mixrw seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 -n 3072M -readratio 70 &使用56GbE架构的SAS工作负载测试结果
经过20项测试的混合分析工作负载不受网络I / O的限制； 因此，与40GbE结果相比，进行20个测试（在单个节点或多个节点上）的性能没有任何改善。 但是，与以40GbE速度运行的端口相比，将网络端口调整为以56GbE速度运行时，经过30次测试运行显示出更高的性能。
- 端口以56GbE速度运行时，在单个节点上进行30个测试的工作负载的实时性降低了5％。
- 当以56GbE速度运行的端口同时在所有四个节点上运行30个测试负载（总共120个测试）时，实时减少8％。
- 四节点测试在56GbE速度下实现了16 GBps的峰值I / O吞吐量，而在40GbE速度下达到了14 GBps。 该测试在56GbE速度下的平均I / O吞吐量为12.15 GBps，而在40GbE速度下为11 GBps。
图12和图13显示了在40GbE和56GbE速度下进行30次测试的工作负载的I / O吞吐量。
图12. 30个测试工作负载以40GbE速度扩展到四个节点（总共120个测试）时的I / O吞吐量
图13.当30个测试的工作负载以56GbE速度扩展到四个节点（总共120个测试）时，I / O吞吐量
调音
本节提供有关如何调整环境各个方面的指导和建议。
开关调整
修改了五个开关调整参数：
- 流量控制
Interface ethernet 1/n flowcontrol receive on force
Interface ethernet 1/n flowcontrol send on force- 接口速度
Interface ethernet 1/n speed 56000, where n= port 1-36- 接口MTU大小
Interface ethernet 1/n mtu 9000, where n= port 1-36- LAG配置调整（如果需要）
Interface port-channel y flowcontrol receive on force, where y = 1 – max number of LAG groups
Interface port-channel y flowcontrol send on force, where y = 1 – max number of LAG groups- LAG负载平衡
port-channel load-balance ethernet source-destination-ip source-destination-mac source-destination-port为了实现冗余，客户端节点（LPAR）具有双端口适配器。 由于适配器插入的PCI Gen3.0 x8总线的限制，适配器的最大总带宽限制为56GbE。 当需要增加带宽和冗余时，建议在56GbE上运行交换机端口以增加带宽。 并在模式1（活动/备用）中配置适配器以提供冗余。
注意：实验室环境具有36端口40GbE / 56GbE交换机。 它具有来自客户端节点（LPARS）的四个链接和来自ESS存储的七个链接，总共有11个端口在使用中。 客户可能不希望将完全切换仅提交给11个端口。 Mellanox通过IBM业务合作伙伴提供了一个选项，一个具有12个端口的端口数量较少的交换机MSX-1012B-2BFS，它使用相同的MLNX-OS和ASIC，并且具有与IBM 8831-NF2相同的功能。
AIX客户端网络调整参数
以下操作系统网络可调参数已从AIX缺省值更改。 您可以在“ 附录：调整参数 ”部分中找到lsattr命令输出和no -a命令输出以及Spectrum Scale可调参数的完整列表。
对AIX SAS客户端适配器接口en3所做的更改与默认适配器设置
# en3
mtu 9000 Maximum IP Packet Size for This Device True
rfc1323 1 Enable/Disable TCP RFC 1323 Window Scaling True
tcp_nodelay 1 Enable/Disable TCP_NODELAY Option True
tcp_recvspace 1048576 Set Socket Buffer Space for Receiving True
tcp_sendspace 1048576 Set Socket Buffer Space for Sending True
thread on Enable/Disable thread attribute True默认情况下对AIX SAS客户端适配器设备ent3所做的更改
# ent3
jumbo_frames yes Request jumbo frames True
jumbo_size 9014 Requested jumbo frame size True
large_receive yes Request Rx TCP segment aggregation True
large_send yes Request Tx TCP segment offload True
tx_comp_cnt 2048 Tx completions before hardware notification TrueAIX网络环境/ adapter参数的比较将默认值更改为“ no -L -F”
常规网络参数
-------------------------------------------------------------------------------------------------
NAME CUR DEF BOOT MIN MAX UNIT TYPE DEPENDENCIES
-------------------------------------------------------------------------------------------------
fasttimo 100 200 100 50 200 millisecond D
-------------------------------------------------------------------------------------------------
sb_max 32M 1M 32M 4K 8E-1 byte D
-------------------------------------------------------------------------------------------------
##Restricted tunables
poolbuckets 7 1 1 1 20 numeric D
-------------------------------------------------------------------------------------------------TCP网络可调参数
--------------------------------------------------------------------------------
NAME CUR DEF BOOT MIN MAX UNIT TYPE DEPENDENCIES
--------------------------------------------------------------------------------
hstcp 1 0 1 0 1 boolean D
--------------------------------------------------------------------------------
rfc1323 1 0 1 0 1 boolean C
--------------------------------------------------------------------------------
sack 1 0 1 0 1 boolean C
--------------------------------------------------------------------------------
tcp_mssdflt 8960 1460 8960 1 64K-1 byte C
--------------------------------------------------------------------------------
tcp_recvspace 856K 16K 856K 4K 8E-1 byte C sb_max
--------------------------------------------------------------------------------
tcp_sendspace 856K 16K 856K 4K 8E-1 byte C sb_max
--------------------------------------------------------------------------------UDP网络可调参数
NAME CUR DEF BOOT MIN MAX UNIT TYPE DEPENDENCIES
--------------------------------------------------------------------------------
udp_recvspace 768K 42080 768K 4K 8E-1 byte C sb_max
--------------------------------------------------------------------------------
udp_sendspace 256K 9K 256K 4K 8E-1 byte C sb_max
--------------------------------------------------------------------------------
n/a means parameter not supported by the current platform or kernel
Parameter types:
S = Static: cannot be changed
D = Dynamic: can be freely changed
B = Bosboot: can only be changed using bosboot and reboot
R = Reboot: can only be changed during reboot
C = Connect: changes are only effective for future socket connections
M = Mount: changes are only effective for future mountings
I = Incremental: can only be incremented
Value conventions:
K = Kilo: 2^10 G = Giga: 2^30 P = Peta: 2^50
M = Mega: 2^20 T = Tera: 2^40 E = Exa: 2^60注：在将已连接的交换机端口更改为速度56000之后，通过重新启动LPAR来实现自动配置的端口速度更改。
ESS Linux I / O服务器适配器绑定更改
经过大量测试后，ESS网络适配器的bond0参数从LACP更改为ALB 。
# vi /etc/sysconfig/network-scripts/ifcfg-bond-bond0
BONDING_OPTS=”miimon=100 mode=balance-alb xmit_hash_policy=layer3+4”
MTU=9000ESS Linux I / O服务器网络调整参数
从Linux ESS I / O网络共享磁盘（NSD）服务器的默认值更改了以下操作系统网络可调参数。
ppc64_cpu --smt=2
ethtool -G enP4p1s0 rx 8192 tx 8192
ethtool -G enP9p1s0 rx 8192 tx 8192
ethtool -G enp1s0 rx 8192 tx 8192
mlnx_tune -r -c
ethtool -K enP9p1s0d1 tx-nocache-copy off
ethtool -K enP4p1s0d1 tx-nocache-copy off
ethtool -K enp1s0d1 tx-nocache-copy off注意：作为ESS安装过程的一部分，已经预先设置/调整了ESS节点网络可调项。
ESS Spectrum Scale调整参数
以下Spectrum Scale集群可调参数已更改为默认值，并用于混合的AIX / Linux GPFS集群。 从Spectrum Scale 4.2.0.3开始，一个句点“”。 第一列中的表示该参数已由workerThreads参数更改。 有时称为自动调整功能，其中更改一个参数workerThreads也会导致其他可调参数自动更改为默认值。
已更改（按性能Pagepool, workerThreads, prefetchPct, maxFilesToCache, maxblocksize, and maxMBpS列出）的Spectrum Scale可调参数是Pagepool, workerThreads, prefetchPct, maxFilesToCache, maxblocksize, and maxMBpS 。 这些可调参数为SAS Mixed Analytics工作负载提供了最显着的性能提升。 通常，对于SAS工作负载而言，最重要的Spectrum Scale可调参数是Pagepool 。 从初始环境测试来看，与其他Spectrum Scale可调参数相比，客户端节点上Pagepool的增加提供了最大的性能改进。 通过在其他环境中进行后续相关的ESS GL4测试，我们预测，如果将客户机节点上的Pagepool从32 GB增加到64 GB，性能将比本文报告的数字提高5％到10％。
因此，以下突出显示的参数被认为是首先要关注的更重要的可调更改。 请注意，对于ESS，在ESS安装过程中会更改许多默认配置值。 ESS已高度优化，并且在我们的测试中几乎不需要调整。 例如，默认情况下，ESS节点Pagepool的最大大小为72 GB。 有关Spectrum Scale配置可调参数的完整列表，请参见附录：调整参数 。
运行AIX的客户机节点：
-
maxblocksize 16777216 -
maxFilesToCache 50000 -
maxMBpS 24000 -
Pagepool 34359738368 -
prefetchPct 40 -
workerThreads 1024
ESS / Linux节点：
-
maxblocksize 16777216 -
maxFilesToCache 50000 -
maxMBpS 24000 -
prefetchPct 40 -
seqDiscardThreshhold 1073741824 -
workerThreads 1024
注意： ESS安装过程已经使用Spectrum Scale性能脚本设置了许多非默认参数。
摘要
IBM和Mellanox通过JBOD近线磁盘存储解决方案实现了有效且相对便宜的以太网，该解决方案可应对SAS工作负载，其性能可与更昂贵的中层光纤通道连接闪存存储相媲美。 用作SAS客户端的基于IBM POWER8处理器的服务器上的AIX使其成为成功实现POC的强大工作引擎。 仅限Mellanox的以太网高速存储网络对于促进ESS的完整I / O吞吐量以及提供运行40GbE光纤网络的能力至关重要，而无需切换交换机到56GbE的解决方案配置和40GbE适配器的自动配置通过使用IBM产品组合中可用的56GbE电缆实现以56GbE运行
从SAS混合分析工作负载概念证明中收集的性能指标表明，该解决方案通过SAS应用程序充分发挥了IBM Elastic Storage Server，Mellanox网络和Power E880的潜力。 跨学科团队在团队服务器，网络，存储和应用程序专业知识的结合下，以交互方式进行工作以优化和优化系统的所有部分，从而获得了出色的性能。 除了行业领先的硬件和软件之外，这也是该POC成功的关键。
补充阅读
IBM和SAS白皮书
- 用于SAS Foundation混合工作负载的新软件定义的融合基础架构
- SAS弹性存储服务器（ESS）战斗卡
- 使用IBM XIV和IBM FlashSystem在基于IBM POWER8处理器的系统上进行SAS业务分析部署
- 使用IBM XIV存储系统和IBM GPFS的IBM Power服务器上的SAS 9.3网格部署
IBM电源系统
IBM存储解决方案
联网
附录：调整参数
以下操作系统网络可调参数用于AIX SAS客户端。 lsattr AIX命令可用于显示特定设备的属性特征和属性的可能值。 例如：
lsattr -El ent3
注意 ：由于启用了rfc1323，特定于接口的可调参数优先于未设置的参数。
[root@brazos06]> # lsattr -El ent3
alt_addr 0x000000000000 Alternate Ethernet address True
bar0 0x88100000 Bus memory address 0 False
bar1 0x80000000 Bus memory address 1 False
bar2 0x88000000 Bus memory address 2 False
chksum_offload yes Request checksum offload True
delay_open no Delay open until link state is known True
devid 0xb31503101410b504 Device ID False
eeh_cfgsp_delay 999 EEH config space delay (miliseconds) False
eeh_reset_delay 5 EEH reset delay (seconds) False
flow_ctrl yes Request flow control True
flow_ctrl_rx yes Receive pause frames True
flow_ctrl_tx yes Transmit pause frames True
intr_cnt 10 Interrupt event coalesce counter True
intr_priority 3 Interrupt priority False
intr_time 5 Interrupt event coalesce timer (microseconds) True
ipv6_offload yes Request IPV6 stateless offloads True
jumbo_frames yes Request jumbo frames True
jumbo_size 9014 Requested jumbo frame size True
large_receive yes Request Rx TCP segment aggregation True
large_send yes Request Tx TCP segment offload True
link_delay_mode logging Link status delay mode True
link_delay_time 5 Link status delay timer (seconds) True
lro_threshold 2 Rx TCP segment aggregation minimum pkt threshold True
media_speed 40000_Full_Duplex Requested Media speed False
queue_pairs 8 Requested number of queue pairs True
queues_rdma 1 Requested number of RDMA event queues True
rdma desired Request RDMA True
rom_mem 0x0 ROM memory address False
rsp_comp_cnt 128 RSP Completions Before Hardware Notification True
rsp_limit 1000 Response queue entries processed per interrupt True
rsp_max_events 512 Max RSP events that can be received True
rx_buffer_low 90 Rx queue buffer replenish threshold True
rx_chain 16 Rx packets chained for stack processing True
rx_comp_limit 128 Response queue entries processed per interrupt True
rx_max_pkts 2048 Rx queue maximum packet count True
rx_notify_cnt 128 Rx packets per Rx complete notification True
rx_send_cnt 8 Rx Immediate Data mode True
systrc_enable no Enable config debug tracing True
timer_eeh 1 EEH event poll timer (seconds) True
timer_error 1 Error poll timer (seconds) True
timer_link 1 Link poll timer (seconds) True
timer_stats 0 Statistics poll timer (seconds) True
tx_comp_cnt 2048 Tx completions before hardware notification True
tx_comp_limit 1 Tx completions processed per event False
tx_free_delay no Delay free of Tx packet mbufs True
tx_limit 1024 Tx packets sent per transmit thread True
tx_max_pkts 1024 Tx queue maximum packet count True
tx_notify_cnt 64 Tx packets per Tx complete notification True
tx_swq_max_pkts 8192 Software Tx queue maximum packet count True
use_alt_addr no Request alternate Ethernet address True
vpd_missing no VPD is not present True您可以使用no AIX命令来管理网络的调整参数。 例如：
无-a输出
arpqsize = 1024
arpt_killc = 20
arptab_bsiz = 7
arptab_nb = 149
bcastping = 0
bsd_loglevel = 3
clean_partial_conns = 0
delayack = 0
delayackports = {}
dgd_flush_cached_route = 0
dgd_packets_lost = 3
dgd_ping_time = 5
dgd_retry_time = 5
directed_broadcast = 0
fasttimo = 100
hstcp = 1
icmp6_errmsg_rate = 10
icmpaddressmask = 0
ie5_old_multicast_mapping = 0
ifsize = 256
igmpv2_deliver = 0
init_high_wat = 0
ip6_defttl = 64
ip6_prune = 1
ip6forwarding = 0
ip6srcrouteforward = 1
ip_ifdelete_notify = 0
ip_nfrag = 200
ipforwarding = 0
ipfragttl = 2
ipignoreredirects = 0
ipqmaxlen = 100
ipsendredirects = 1
ipsrcrouteforward = 1
ipsrcrouterecv = 0
ipsrcroutesend = 1
limited_ss = 0
llsleep_timeout = 3
lo_perf = 1
lowthresh = 90
main_if6 = 0
main_site6 = 0
maxnip6q = 20
maxttl = 255
medthresh = 95
mpr_policy = 1
multi_homed = 1
nbc_limit = 12582912
nbc_max_cache = 131072
nbc_min_cache = 1
nbc_ofile_hashsz = 12841
nbc_pseg = 0
nbc_pseg_limit = 25165824
ndd_event_name = {all}
ndd_event_tracing = 0
ndogthreads = 0
ndp_mmaxtries = 3
ndp_umaxtries = 3
ndpqsize = 50
ndpt_down = 3
ndpt_keep = 120
ndpt_probe = 5
ndpt_reachable = 30
ndpt_retrans = 1
net_buf_size = {all}
net_buf_type = {all}
net_malloc_frag_mask = {0}
netm_page_promote = 1
nonlocsrcroute = 0
nstrpush = 8
passive_dgd = 0
pmtu_default_age = 10
pmtu_expire = 10
pmtu_rediscover_interval = 30
psebufcalls = 20
psecache = 1
psetimers = 20
rfc1122addrchk = 0
rfc1323 = 1
rfc2414 = 1
route_expire = 1
routerevalidate = 0
rtentry_lock_complex = 1
rto_high = 64
rto_length = 13
rto_limit = 7
rto_low = 1
sack = 1
sb_max = 33554432
send_file_duration = 300
site6_index = 0
sockthresh = 85
sodebug = 0
sodebug_env = 0
somaxconn = 1024
strctlsz = 1024
strmsgsz = 0
strthresh = 85
strturncnt = 15
subnetsarelocal = 1
tcp_bad_port_limit = 0
tcp_cwnd_modified = 0
tcp_ecn = 0
tcp_ephemeral_high = 65535
tcp_ephemeral_low = 32768
tcp_fastlo = 0
tcp_fastlo_crosswpar = 0
tcp_finwait2 = 1200
tcp_icmpsecure = 0
tcp_init_window = 0
tcp_inpcb_hashtab_siz = 24499
tcp_keepcnt = 8
tcp_keepidle = 14400
tcp_keepinit = 150
tcp_keepintvl = 150
tcp_limited_transmit = 1
tcp_low_rto = 0
tcp_maxburst = 0
tcp_mssdflt = 8960
tcp_nagle_limit = 65535
tcp_nagleoverride = 0
tcp_ndebug = 100
tcp_newreno = 1
tcp_nodelayack = 1
tcp_pmtu_discover = 1
tcp_recvspace = 876544
tcp_sendspace = 876544
tcp_tcpsecure = 0
tcp_timewait = 1
tcp_ttl = 60
tcprexmtthresh = 3
tcptr_enable = 0
thewall = 50331648
timer_wheel_tick = 0
tn_filter = 1
udp_bad_port_limit = 0
udp_ephemeral_high = 65535
udp_ephemeral_low = 32768
udp_inpcb_hashtab_siz = 24499
udp_pmtu_discover = 1
udp_recv_perf = 0
udp_recvspace = 786432
udp_sendspace = 262144
udp_ttl = 30
udpcksum = 1
use_sndbufpool = 1频谱规模调整参数
列出了以下用于混合AIX / Linux GPFS集群的Spectrum Scale集群可调项作为参考。 某些可调参数已更改为默认值，如“！”所示。 在以下参数之前标记。 最新版本的Spectrum Scale具有自动调整功能，更改workerThreads也会导致其他可调参数自动更改为默认值。 高亮显示的参数（以粗体显示）被认为是首先要关注的更重要的可调更改。 请注意，对于ESS，在ESS安装过程中会更改许多默认配置值。 ESS经过高度优化，几乎不需要调整。
AIX节点
! ccrEnabled 0
! cipherList AUTHONLY
! deadlockDataCollectionDailyLimit 10
! deadlockDetectionThreshold 0
! dmapiFileHandleSize 32
! expelDataCollectionDailyLimit 10
! logBufferCount 20
! logWrapThreads 128
! maxblocksize 16777216
! maxBufferDescs 32768
! maxFilesToCache 50000
! maxMBpS 24000
! maxReceiverThreads 128
! maxStatCache 10000
! minReleaseLevel 1502
! pagepool 34359738368
! prefetchPct 40
! scatterBuffers 0
! seqDiscardThreshhold 1073741824
! socketMaxListenConnections 512
! worker1Threads 1024
! workerThreads 1024ESS / Linux模式
注意 ：ESS安装过程已经设置了许多这些非默认参数。
! ccrEnabled 0
! cipherList AUTHONLY
! deadlockDataCollectionDailyLimit 10
! deadlockDetectionThreshold 0
! dmapiFileHandleSize 32
! envVar MLX4_USE_MUTEX 1 MLX5_SHUT_UP_BF 1 MLX5_USE_MUTEX 1
! expelDataCollectionDailyLimit 10
! flushedDataTarget 1024
! flushedInodeTarget 1024
! ioHistorySize 65536
! logBufferCount 20
! logWrapAmountPct 10
! logWrapThreads 128
! maxAllocRegionsPerNode 32
! maxBackgroundDeletionThreads 16
! maxblocksize 16777216
! maxBufferCleaners 1024
! maxBufferDescs 2097152
! maxFileCleaners 1024
! maxFilesToCache 50000
! maxGeneralThreads 1280
! maxInodeDeallocPrefetch 128
! maxMBpS 24000
! maxReceiverThreads 128
! maxStatCache 10000
! minReleaseLevel 1502
! myNodeConfigNumber 1
! nsdClientCksumTypeLocal NsdCksum_Ck64
! nsdClientCksumTypeRemote NsdCksum_Ck64
! nsdInlineWriteMax 32768
! nsdMaxWorkerThreads 3072
! nsdMinWorkerThreads 3072
! nsdMultiQueue 512
! nsdRAIDBlockDeviceMaxSectorsKB 8192
! nsdRAIDBlockDeviceNrRequests 32
! nsdRAIDBlockDeviceQueueDepth 16
! nsdRAIDBlockDeviceScheduler deadline
! nsdRAIDBufferPoolSizePct (% of PagePool) 80
! nsdRAIDEventLogToConsole all
! nsdRAIDFastWriteFSDataLimit 262144
! nsdRAIDFastWriteFSMetadataLimit 1048576
! nsdRAIDFlusherBuffersLimitPct 80
! nsdRAIDBlockDeviceQueueDepth 16
! nsdRAIDBlockDeviceScheduler deadline
! nsdRAIDBufferPoolSizePct (% of PagePool) 80
! nsdRAIDEventLogToConsole all
! nsdRAIDFastWriteFSDataLimit 262144
! nsdRAIDFastWriteFSMetadataLimit 1048576
! nsdRAIDFlusherBuffersLimitPct 80
! nsdRAIDFlusherBuffersLowWatermarkPct 20
! nsdRAIDFlusherFWLogHighWatermarkMB 1000
! nsdRAIDFlusherFWLogLimitMB 5000
! nsdRAIDFlusherThreadsHighWatermark 512
! nsdRAIDFlusherThreadsLowWatermark 1
! nsdRAIDFlusherTracksLimitPct 80
! nsdRAIDFlusherTracksLowWatermarkPct 20
! nsdRAIDMaxTransientStale2FT 1
! nsdRAIDMaxTransientStale3FT 1
! nsdRAIDReconstructAggressiveness 1
! nsdRAIDSmallBufferSize 262144
! nsdRAIDSmallThreadRatio 2
! nsdRAIDThreadsPerQueue 16
! nsdRAIDTracks 131072
! nspdQueues 64
! numaMemoryInterleave yes
! pagepool 76168560640
! prefetchPct 40
! prefetchThreads 341
! scatterBuffers 0
! scatterBufferSize 262144
! seqDiscardThreshhold 1073741824
! socketMaxListenConnections 512
! syncWorkerThreads 256
! worker1Threads 1024
! worker3Threads 32
! workerThreads 1024翻译自: https://www.ibm.com/developerworks/aix/library/l-infrastructure-for-sas/index.html
5801
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
