40GB Infiniband 网络 Windows storage 2016 直通 Centos 7.2网路安装

最新推荐文章于 2024-01-19 22:20:42 发布
最新推荐文章于 2024-01-19 22:20:42 发布
阅读量1.4k 收藏 2
点赞数
分类专栏： linux windows
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jisen_huang/article/details/79881912
版权

http://ch.mellanox.com/page/software_overview_ib



root@localhost MLNX_OFED_LINUX-3.4-1.0.0.0-rhel7.2-x86_64]# ./mlnxofedinstall 

Logs dir: /tmp/MLNX_OFED_LINUX-3.4-1.0.0.0.5480.logs
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:

yum install tcl tk



CentOS_BuildTag  EFI  EULA  GPL  images  isolinux  LiveOS  Packages  repodata  RPM-GPG-KEY-CentOS-7  RPM-GPG-KEY-CentOS-Testing-7  TRANS.TBL

[root@localhost cdrom]# cd Packages/
[root@localhost Packages]# rpm -ivh tcl
tcl-8.5.13-8.el7.i686.rpm           tcl-devel-8.5.13-8.el7.i686.rpm     tclx-8.4.0-22.el7.i686.rpm          tclx-devel-8.4.0-22.el7.x86_64.rpm
tcl-8.5.13-8.el7.x86_64.rpm         tcl-devel-8.5.13-8.el7.x86_64.rpm   tclx-8.4.0-22.el7.x86_64.rpm        
tcl-brlapi-0.6.0-9.el7.x86_64.rpm   tcl-pgtcl-2.0.0-5.el7.x86_64.rpm    tclx-devel-8.4.0-22.el7.i686.rpm    
[root@localhost Packages]# rpm -ivh tcl-8.5.13-8.el7.x86_64.rpm 
warning: tcl-8.5.13-8.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:tcl-1:8.5.13-8.el7               ################################# [100%]
[root@localhost Packages]# rpm -ivh tk
tk-8.5.13-6.el7.i686.rpm          tk-devel-8.5.13-6.el7.i686.rpm    tkinter-2.7.5-34.el7.x86_64.rpm   
tk-8.5.13-6.el7.x86_64.rpm        tk-devel-8.5.13-6.el7.x86_64.rpm  
[root@localhost Packages]# rpm -ivh tk-8.5.13-6.el7.x86_64.rpm 
warning: tk-8.5.13-6.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID f4a80eb5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...

   1:tk-1:8.5.13-6.el7                ################################# [100%]









[root@localhost MLNX_OFED_LINUX-3.4-1.0.0.0-rhel7.2-x86_64]# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX-3.4-1.0.0.0.7160.logs
Verifying KMP rpms compatibility with target kernel...
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, or Distribution IB packages will be removed.
Do you want to continue?[y/N]:y




rpm --nosignature -e --allmatches --nodeps libibverbs librdmacm libibverbs librdmacm rdma rdma libibverbs-1.1.8-8.el7.x86_64


Starting MLNX_OFED_LINUX-3.4-1.0.0.0 installation ...


Installing mlnx-ofa_kernel RPM
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-3.4-OFED.3.4.1.0.0.1.g########################################
Configured /etc/security/limits.conf
Installing kmod-mlnx-ofa_kernel 3.4 RPM
Preparing...                          ########################################
kmod-mlnx-ofa_kernel-3.4-OFED.3.4.1.0.########################################
Installing mlnx-ofa_kernel-devel RPM
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-devel-3.4-OFED.3.4.1.0########################################
Installing kmod-kernel-mft-mlnx 4.5.0 RPM
Preparing...                          ########################################
kmod-kernel-mft-mlnx-4.5.0-1.rhel7u2  ########################################
Installing knem-mlnx RPM
Preparing...                          ########################################
Updating / installing...
knem-mlnx-1.1.2.90mlnx1-OFED.3.3.1.5.5########################################
Installing kmod-knem-mlnx 1.1.2.90mlnx1 RPM
Preparing...                          ########################################
kmod-knem-mlnx-1.1.2.90mlnx1-OFED.3.3.########################################
Installing kmod-iser 1.8.1 RPM
Preparing...                          ########################################
kmod-iser-1.8.1-OFED.3.4.1.0.0.1.g2ed8########################################
Installing kmod-srp 1.6.1 RPM
Preparing...                          ########################################
kmod-srp-1.6.1-OFED.3.4.1.0.0.1.g2ed8a########################################
Installing kmod-isert 1.7 RPM
Preparing...                          ########################################
kmod-isert-1.7-OFED.3.4.1.0.0.1.g2ed8a########################################
Installing kmod-mlnx-sdp 3.4 RPM
Preparing...                          ########################################
kmod-mlnx-sdp-3.4-OFED.3.4.1.0.0.1.g2e########################################
Installing kmod-mlnx-rds 3.4 RPM
Preparing...                          ########################################
kmod-mlnx-rds-3.4-OFED.3.4.1.0.0.1.g2e########################################
Installing kmod-mlnx-nfsrdma 3.4 RPM
Preparing...                          ########################################
kmod-mlnx-nfsrdma-3.4-OFED.3.4.1.0.0.1########################################
Installing mpi-selector RPM
Preparing...                          ########################################
Updating / installing...
mpi-selector-1.0.3-1.34100            ########################################
Installing user level RPMs:
Preparing...                          ########################################
ofed-scripts-3.4-OFED.3.4.1.0.0       ########################################
Preparing...                          ########################################
libibverbs-1.2.1mlnx1-OFED.3.4.0.1.4.3########################################
Preparing...                          ########################################
libibverbs-devel-1.2.1mlnx1-OFED.3.4.0########################################
Preparing...                          ########################################
libibverbs-devel-static-1.2.1mlnx1-OFE########################################
Preparing...                          ########################################
libibverbs-utils-1.2.1mlnx1-OFED.3.4.0########################################
Preparing...                          ########################################
libmlx4-1.2.1mlnx1-OFED.3.4.0.0.4.3410########################################
Preparing...                          ########################################
libmlx4-devel-1.2.1mlnx1-OFED.3.4.0.0.########################################
Preparing...                          ########################################
libmlx5-1.2.1mlnx1-OFED.3.4.1.0.0.3410########################################
Preparing...                          ########################################
libmlx5-devel-1.2.1mlnx1-OFED.3.4.1.0.########################################
Preparing...                          ########################################
libibcm-1.0.5mlnx2-OFED.3.4.0.0.4.3410########################################
Preparing...                          ########################################
libibcm-devel-1.0.5mlnx2-OFED.3.4.0.0.########################################
Preparing...                          ########################################
libibumad-1.3.10.2.MLNX20150406.966500########################################
Preparing...                          ########################################
libibumad-devel-1.3.10.2.MLNX20150406.########################################
Preparing...                          ########################################
libibumad-static-1.3.10.2.MLNX20150406########################################
Preparing...                          ########################################
libibmad-1.3.12.MLNX20160814.4f078cc-0########################################
Preparing...                          ########################################
libibmad-devel-1.3.12.MLNX20160814.4f0########################################
Preparing...                          ########################################
libibmad-static-1.3.12.MLNX20160814.4f########################################
Preparing...                          ########################################
ibsim-0.6-0.8.g9d76581.34100          ########################################
Preparing...                          ########################################
ibacm-1.2.1mlnx1-OFED.3.4.0.1.5.34100 ########################################
Preparing...                          ########################################
librdmacm-1.1.0mlnx-OFED.3.4.0.0.4.341########################################
Preparing...                          ########################################
librdmacm-utils-1.1.0mlnx-OFED.3.4.0.0########################################
Preparing...                          ########################################
librdmacm-devel-1.1.0mlnx-OFED.3.4.0.0########################################
Preparing...                          ########################################
libsdp-1.1.108-OFED.3.0.8.gfbd01df.341########################################
Preparing...                          ########################################
libsdp-devel-1.1.108-OFED.3.0.8.gfbd01########################################
Preparing...                          ########################################
opensm-libs-4.8.0.MLNX20160906.32a95b6########################################
Preparing...                          ########################################
opensm-4.8.0.MLNX20160906.32a95b6-0.1.########################################
Preparing...                          ########################################
opensm-devel-4.8.0.MLNX20160906.32a95b########################################
Preparing...                          ########################################
opensm-static-4.8.0.MLNX20160906.32a95########################################
Preparing...                          ########################################
dapl-2.1.9mlnx-OFED.3.3.0.0.6.34100   ########################################
Preparing...                          ########################################
dapl-devel-2.1.9mlnx-OFED.3.3.0.0.6.34########################################
Preparing...                          ########################################
dapl-devel-static-2.1.9mlnx-OFED.3.3.0########################################
Preparing...                          ########################################
dapl-utils-2.1.9mlnx-OFED.3.3.0.0.6.34########################################
Preparing...                          ########################################
perftest-3.0-3.9.gffcb1de.34100       ########################################
Preparing...                          ########################################
mstflint-4.5.0-1.17.g8a0c39d.34100    ########################################
Preparing...                          ########################################
mft-4.5.0-31                          ########################################
Preparing...                          ########################################
sdpnetstat-1.60-26.34100              ########################################
Preparing...                          ########################################
srptools-1.0.3-4.34100                ########################################
Preparing...                          ########################################
rds-tools-2.0.7-1.12.34100            ########################################
Preparing...                          ########################################
rds-devel-2.0.7-1.12.34100            ########################################
Preparing...                          ########################################
ibutils2-2.1.1-0.86.MLNX20160830.g9408########################################
Preparing...                          ########################################
ibutils-1.5.7.1-0.12.gdcaeae2.34100   ########################################
Preparing...                          ########################################
cc_mgr-1.0-0.32.g659d6d2.34100        ########################################
Preparing...                          ########################################
dump_pr-1.0-0.28.g659d6d2.34100       ########################################
Preparing...                          ########################################
ar_mgr-1.0-0.33.g659d6d2.34100        ########################################
Preparing...                          ########################################
ibdump-4.0.0-2.34100                  ########################################
Preparing...                          ########################################
infiniband-diags-1.6.6.MLNX20160814.99########################################
Preparing...                          ########################################
infiniband-diags-compat-1.6.6.MLNX2016########################################
Preparing...                          ########################################
qperf-0.4.9-9.34100                   ########################################
Preparing...                          ########################################
fca-2.5.2431-1.34100                  ########################################
Preparing...                          ########################################
mxm-3.5.3093-1.34100                  ########################################
Preparing...                          ########################################
sharp-1.1.1.MLNX20160915.8763a35-1.341########################################
Preparing...                          ########################################
hcoll-3.6.1228-1.34100                ########################################
Preparing...                          ########################################
openmpi-1.10.5a1-1.34100              ########################################
Preparing...                          ########################################
libibprof-1.1.31-1.34100              ########################################
Preparing...                          ########################################
mlnx-ethtool-4.2-1.34100              ########################################
Preparing...                          ########################################
mlnxofed-docs-3.4-1.0.0.0             ########################################
Preparing...                          ########################################
mpitests_openmpi-3.2.18-0cdeb98.34100 ########################################
Device (07:00.0):
        07:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]
        Link Width: x8
        PCI Link Speed: 8GT/s


Device (84:00.0):
        84:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]
        Link Width: x8
        PCI Link Speed: 8GT/s




Installation finished successfully.


Preparing...                          ################################# [100%]
Updating / installing...
   1:mlnx-fw-updater-3.4-1.0.0.0      ################################# [100%]


Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf


Attempting to perform Firmware update...
Querying Mellanox devices firmware ...


Device #1:
----------


  Device Type:      ConnectX3
  Part Number:      MCX354A-TCB_Ax
  Description:      ConnectX-3 VPI adapter card; dual-port QSFP; FDR10 IB (40Gb/s) and 10GigE; PCIe3.0x8 8GT/s; RoHS R6
  PSID:             MT_1090110028
  PCI Device Name:  07:00.0
  Port1 GUID:       7cfe900300a8df31
  Port2 GUID:       7cfe900300a8df32
  Versions:         Current        Available     
     FW             2.42.5000      2.36.5150     
     PXE            3.4.0752       3.4.0740      


  Status:           Up to date




Log File: /tmp/MLNX_OFED_LINUX-3.4-1.0.0.0.7160.logs/fw_update.log
Querying Mellanox devices firmware ...


Device #1:
----------


  Device Type:      ConnectX3
  Part Number:      MCX354A-TCB_Ax
  Description:      ConnectX-3 VPI adapter card; dual-port QSFP; FDR10 IB (40Gb/s) and 10GigE; PCIe3.0x8 8GT/s; RoHS R6
  PSID:             MT_1090110028
  PCI Device Name:  84:00.0
  Port1 GUID:       e41d2d0300e04891
  Port2 GUID:       e41d2d0300e04892
  Versions:         Current        Available     
     FW             2.34.5000      2.36.5150     
     PXE            3.4.0521       3.4.0740      


  Status:           Update required


---------
Found 1 device(s) requiring firmware update...


Device #1: Updating FW ... Done


Restart needed for updates to take effect.
Log File: /tmp/MLNX_OFED_LINUX-3.4-1.0.0.0.7160.logs/fw_update.log
Please reboot your system for the changes to take effect.
To load the new driver, run:

/etc/init.d/openibd restart



root@localhost MLNX_OFED_LINUX-3.4-1.0.0.0-rhel7.2-x86_64]# CD /
bash: CD: command not found...
Similar command is: 'cd'
[root@localhost MLNX_OFED_LINUX-3.4-1.0.0.0-rhel7.2-x86_64]# cd /
[root@localhost /]# service opensmd start
Starting opensmd (via systemctl):  [  OK  ]
[root@localhost /]# chkconfig openibd on  
Note: Forwarding request to 'systemctl enable openibd.service'.
chkconfig opensmd on  
reboot  [root@localhost /]# chkconfig opensmd on  
[root@localhost /]# reboot  




黄继生 jisen
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MLNX_OFED_LINUX编程手册
01-09
MLNX_OFED_LINUX编程手册，万兆网络，有api和example
Infiniband网络结构分析1
08-04
Infiniband 网络架构分析1. InfiniBand 简介InfiniBand 是一个用于高性能计算的计算机网络通信标准，它具有极高的吞吐量和极低的延迟
ubuntu16.04 安装 oracle11g （2022.6.5）
热门推荐
qq_43633430的博客
06-07 1万+
记录ubuntu16.04安装oracle11g过程，主要参考了国外的一篇博客，这里给贴了一下，以及过程中出现的错误及处理方法
CentOS上安装Mellanox OFED
最新发布
独自陶醉
01-19 1239
Tgz解压缩执行 ./mlnxofedinstall发现缺少模块。先安装 kernel modules。打开Mellanox官网下载驱动。
centos7.4安装Infiniband网卡驱动以及“Module xxx belong to kernel which is not a part of MLNX……”错误解决
starlh35的博客
01-16 7103
背景说明 实验室集群环境系统更新，导致之前的Infiniband网卡驱动不可用了，因此安装新的驱动 详细步骤 1.去官网下载指定版本 下载安装包 官网版本列表 我这里下载的是对应的7.4 支持Centos7.4的驱动 ps：查看自己系统版本的命令： lsb_release -a 或者： cat /etc/redhat-release 2.查看支持情况
Lsi卡和IB卡在CentOS中升级
weixin_33800593的博客
05-12 1312
Lsi卡和IB卡在CentOS中升级 LSI 9271 步骤1：准备升级工具和固件包 rpm -ivh MegaCli-8.07.14-1.noarch.rpm [root@phegdata01 ~]# unzip 23-34-0-0005_SAS_2208_FW_IMAGE_APP_3-460-05-4565.zip Ar...
Error: Package: mysql-community-server-5.7.44-1.el6.x86_64 (mysql57-community)
xiaodaimu00的博客
12-12 677
Error: Package: mysql-community-server-5.7.44-1.el6.x86_64 (mysql57-community) Requires: libsasl2.so.2()(64bit)
centos编译RDMA-OFED驱动
qq_32305507的博客
09-02 1986
服务器系统：centos 7.6.1810 首先需要在https://www.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed中下载系统对应的驱动程序压缩包。解压后进入驱动目录，运行mlnxofedinstall即可进行安装。但是直接使用./mlnxofedinstall命令会提示不支持该版本的系统，需要在后面加上--add-kernel-support以使驱动程序编译时加入对当前内核的支持。 运行上述命令，...
高速网络InfiniBand加速大数据应用 共40页.pdf
03-26
高速网络InfiniBand加速大数据应用 共40页.pdf
Infiniband网络结构分析4
08-08
2、该技术不是用于一般网络连接的，它的主要设计目的是针对服务器端的连接问题的 2、通过InfiniBand传送数据时，数据是以数据包方式传输，这些数据包会组合成
tk-8.5.13-6.el7.x86_64.rpm
12-01
离线安装包，亲测可用
tcl-8.5.13-8.el7.x86_64.rpm
03-22
centos7的 tcl包
Infiniband网络结构分析5
08-08
二、InfiniBand架构InfiniBand采用双队列程序提取技术，使应用程序直接将数据从适配器送入到应用内存（称为远程直接存储器存取或RDMA）, 反之依
Infiniband网络结构分析2
08-08
Infiniband网络结构分析2
linux exp 脚本
jisen_huang的专栏
09-03 2024
#!/bin/sh export ORACLE_BASE=/u01 export ORACLE_HOME=$ORACLE_BASE/oracle export ORACLE_SID=jisen PATH=$ORACLE_HOME/bin:$PATH:$HOME/bin #define variable.... backup_date=`date +%Y%m%d` bak_ho
ASM _asm_hbeatiowait与多路径的时间差问题。
jisen_huang的专栏
05-29 1607
ASM _asm_hbeatiowait与多路径的时间差问题。 这里对于“Waited 15 secs for write IO to PST”错误信息，根据文档1581684.1介绍，是在11.2.0.3.0之后出现的。同时在文档中有描述，如何手动修改这个检测超时的时间，可以通过参数_asm_hbeatiowait来控制： alter system set "_asm_hbeatiowait"=<value> scope=spfile sid='*'; <需要重启ASM/CR..
RHEL7.5自定义分区安装
jisen_huang的专栏
05-01 1553
进入安装 选择安装位置 点击+号 先可以选择看看推荐boot大小，然后reset后，按推荐大小建立boot。这里选择200M 再点击+号，选择/home，填入大小。 修改VolumeGroup点击Create a new volume group 名称选择vg00 将name更成自定义名称lvol5 按/home...
rhel7 pcs pacemaker corosync配置主从高可用
jisen_huang的专栏
06-28 1497
mount -t auto /dev/cdrom /mnt rm -rf /etc/yum.repos.d/ mkdir -p /etc/yum.repos.d/ cat >> /etc/yum.repos.d/rhel-Media.repo<<EOF # rhel-Media.repo # # This repo can be used with mo...
InfiniBand网络是什么
06-02
InfiniBand网络是一种高速网络技术，它可以提供非常高的数据传输速度和低延迟，被广泛应用于高性能计算、云计算、数据中心等领域。InfiniBand网络基于点对点连接的架构设计，可以支持多种拓扑结构，如点对点、环形、树形等。它有以下特点： 1. 高速传输：InfiniBand网络可以提供非常高的数据传输速度，目前最高可以达到400 Gb/s。 2. 低延迟：InfiniBand网络的延迟非常低，通常在微秒级别，这对于需要实时响应的应用非常有用。 3. 灵活的拓扑结构：InfiniBand网络支持多种拓扑结构，可以根据具体应用需求进行选择。 4. 高可靠性：InfiniBand网络具有高可靠性和容错能力，可以通过多路径、重路由等技术提高网络的可靠性。 5. 简化管理：InfiniBand网络采用子网管理器（Subnet Manager）进行管理，可以对网络中的节点、端口和链路进行管理和配置，简化了网络管理的复杂度。 总之，InfiniBand网络是一种高性能、低延迟、高可靠性的网络技术，可以为高性能计算、云计算、数据中心等领域提供强大的支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值