ERP-SAP服务器集群架构技术沿革

官方安装文档解读SAP S4 HANA架构

SAP HANA原生备份与恢复

自己攒一台SAP S4 HANA服务器硬件配置参考

BASIS模块管理

为什么SAP ECC的系统，数据库总是和SAP的应用安装在一起

SAP PI服务器，版本731 SYBASE数据库运维故障解决2粒

ERP-SAP服务器集群架构技术沿革

IBM小型机厉害的高级功能

AIX下 SYBASE 数据库无法启动解决一例

C#连接SAP HANA数据库读取数据

SAP系统性能测试

最简单可靠的机房温度电话报警

我的BasisAgent运维监控工具（一）telnet

SAP HANA原生备份与恢复

SAP官方HANA管理员手册之savepoints

HANA之列存储

甩不掉的BASIS

TCPIP 网络科普 (james-lx)

32位和64位的区别（james-lx）

 

本文重点讲述企业ERP系统软件的市场领导者SAP，它的ERP服务器集群架构，在多个大型企业的ERP系统中部署与实践；

从2000年SAP 46C 进入中国的第一批灯塔项目时的架构，到今天500个在中国的S/4 HANA架构，我的历次项目中的调整变革记录：

 

--------第一套----某大型制造企业ERP生产系统------------
运维时间：2001-2009

操作系统：HP-UX

数据库：ORACLE8.1.7

SAP系统：46C

双机软件：HP的MC-SG

特点：

1、两台服务器和一台存储构成集群。

2、CI中心实例和数据库（单机）安装存储上，运行在1号机上。

3、在2号机上，基于存储上的SAP服务器程序通过文件共享，安装DI对话实例和运行。

不足：

1、磁盘柜正被存储代替，而SAP的标准安装手册对数据库还是mount多目录，给后期数据库增加表空间、文件系统带来麻烦。

2、2号机处理能力空闲严重。

3、因为NFS文件共享目录，会导致服务器不能自动关机，故障发生时有一定几率无法自动切换。而双机自动切换软件在故障时给管理员恢复系统带来很大的麻烦，每次故障发生70%的时间是在处理双机软件问题。

 

CI主机文件系统：

Filesystem          kbytes    used   avail %used Mounted on
/dev/vg00/lvol3    1024000  823190  188373   81% /
/dev/vg00/lvol1     600571   51216  489297    9% /stand
/dev/vg00/lvol8    4612096 2747026 1748585   61% /var
/dev/vg00/lvol7    3072000  769739 2158380   26% /usr
/dev/vg00/lvol6     819200  639521  168464   79% /tmp
/dev/vg00/lvol5    4612096 2221896 2240862   50% /opt
/dev/vg00/lvol4     516096    2678  481389    1% /home
/dev/vgdbPRD/lvoracle    512000   30001  451880    6% /oracle
/dev/vgdbPRD/lvoraprd    204800   75280  121746   38% /oracle/PRD
/dev/vglogPRD/lvoriglogA 3072000  263339 2633125    9% /oracle/PRD/origlogA
/dev/vglogPRD/lvoriglogB 3072000  206661 2686262    7% /oracle/PRD/origlogB
/dev/vglogPRD/lvmirrlogA 3072000  206661 2686262    7% /oracle/PRD/mirrlogA
/dev/vglogPRD/lvmirrlogB 3072000  206661 2686262    7% /oracle/PRD/mirrlogB
/dev/vglogPRD/lvsaparch   20480000 9146946 10625384   46% /oracle/PRD/saparch
/dev/vgsapPRD/lvsapPRD    1024000  822744  188837   81% /usr/sap/PRD
/dev/vgsapPRD/lvmntPRD    1024000  274638  703438   28% /exports/sapmnt/PRD
/dev/vgsapPRD/lvtrans    2048000   33651 1893656    2% /exports/usr/sap/trans
/dev/vgdbPRD/lvstage_817   2048000  961090 1018982   49% /oracle/stage/817_64
/dev/vgdbPRD/lvoraprd64   2048000 2006078   40644   98% /oracle/PRD/817_64
/dev/vgdbPRD/lvoracltdb   102400   11587   85174   12% /oracle/805_64
/dev/vgdbPRD/lvsapreorg   45973504  102488 43004591    0% /oracle/PRD/sapreorg
/dev/vgdbPRD/lvsapdata1   122880000 109675672 13101336   89% /oracle/PRD/sapdata1
/dev/vgdbPRD/lvsapdata2   122880000 106582576 16170424   87% /oracle/PRD/sapdata2
/dev/vgdbPRD/lvsapdata3   122880000 110207320 12573808   90% /oracle/PRD/sapdata3
/dev/vgdbPRD/lvsapdata4   122880000 83160616 39409680   68% /oracle/PRD/sapdata4
/dev/vgdbPRD/lvsapdata5   122880000 103108144 19617456   84% /oracle/PRD/sapdata5
/dev/vgdbPRD/lvsapdata6   122880000 94062680 28592248   77% /oracle/PRD/sapdata6
/dev/vgdbPRD/lvsapdata7   122880000 109594420 13078956   89% /oracle/PRD/sapdata7
/dev/vgdbPRD/lv_ob2cm    1048576  775453  256135   75% /omni_shared
/dev/vgorgPRD/lvorgPRD    563200000 98666728 460905488   18% /sapreorg

DI主机文件系统：

Filesystem          kbytes    used   avail %used Mounted on
/dev/vg00/lvol3    1024000  135101  833359   14% /
/dev/vg00/lvol1     600571   51216  489297    9% /stand
/dev/vg00/lvol8    4710400 1961366 2577505   43% /var
/dev/vg00/lvol7    3072000  762401 2165292   26% /usr
/dev/vg00/lvol6     819200   49993  721157    6% /tmp
/dev/vg00/lvol5    4612096 1384046 3026326   31% /opt
/dev/vg00/lvol4     516096    1511  482486    0% /home
/dev/vg00/lvol12    106496   11587   89014   12% /oracle/805_64
/dev/vg00/lvol15    409600   63766  324235   16% /oracle/PRD
/dev/vg00/lvol14   9216000 1658515 7085158   19% /usr/sap/PRD
aes04p61:/exports/sapmnt/PRD     1024000  274640  703432   28% /sapmnt/PRD
aes04p61:/exports/usr/sap/trans   2048000   33656 1893656    2% /usr/sap/trans
 

 

--------第二套----某大型制造企业ERP生产系统------------

运维时间：2009-2011

操作系统：AIX

数据库：DB2 V9

SAP系统：ECC6

双机软件：IBM的HACMP

特点：

1、两台服务器和一台存储构成集群。

2、ASCS安装存储上、PAS中心实例安装在1号机根盘，运行在1号机上。

3、数据库（单机）安装于存储，APP对话实例安装在2号机根盘，运行在2号机上。

改进：

1、基于第一套系统2号机资源严重空闲，这次装机，我把数据库放在了2号机上。

2、ASCS被放在存储上用来作双机切换，几乎任何故障下（包括服务器直接掉电），都可以切换成功。

不足：

1、非SAP标准架构。

2、当硬件能力大于负载的情况下，数据库放2号机因为要通过网络同1号机通讯，并不能把硬件能力发挥到极致，中国BASIS调优第一人张挺指出：应用和数据库在一台服务器上，省掉网络延迟，才能发挥服务器最大性能，说得很有道理。

PAS主机文件系统：

Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4           1.00      0.43   58%    10849    10% /
/dev/hd2          10.00      7.49   26%    47162     3% /usr
/dev/hd9var        0.50      0.18   64%     7301    15% /var
/dev/hd3           2.00      1.36   32%      801     1% /tmp
/dev/hd1          10.00     10.00    1%       43     1% /home
/proc                 -         -    -         -     -  /proc
/dev/hd10opt      10.00      9.64    4%     9892     1% /opt
/dev/lv_sapcd     20.00      1.59   93%     3224     1% /sapcd
/dev/lv_sapmnt     10.00      7.83   22%     4503     1% /sapmnt
/dev/lv_sap       10.00      9.05   10%     2132     1% /usr/sap
/dev/lv_db2      500.00    187.19   63%      526     1% /db2/PRD
erpdev:/usr/sap/trans     20.00     17.67   12%     4724     1% /usr/sap/trans

APP主机文件系统：

Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4           1.00      0.45   55%     9834     9% /
/dev/hd2          10.00      7.59   25%    45272     3% /usr
/dev/hd9var        0.50      0.36   29%     4741     6% /var
/dev/hd3          10.00      4.71   53%     1124     1% /tmp
/dev/hd1          10.00     10.00    1%       44     1% /home
/proc                 -         -    -         -     -  /proc
/dev/hd10opt      10.00      9.64    4%     9843     1% /opt
/dev/lv_sapcd     20.00     15.31   24%     1935     1% /sapcd
/dev/lv_sapmnt     10.00      6.29   38%     5179     1% /sapmnt
/dev/lv_sap       10.00      8.00   21%     1682     1% /usr/sap
/dev/lv_ASCS       6.25      6.12    3%      103     1% /usr/sap/PRD/ASCS00
erpdev:/usr/sap/trans     20.00     17.67   12%     4724     1% /usr/sap/trans
 

 

--------第三套----某大型制造企业ERP生产系统------------

运维时间：2014-2017

操作系统：AIX

数据库：ORACLE11

SAP系统：ECC6

双机软件：无

特点：

1、两台服务器和一台存储构成集群。

2、PAS中心实例和数据库（单机）安装存储上，运行在1号机上。

3、在2号机上，基于存储上的SAP服务器程序通过文件共享，安装AAS对话实例和运行。

改进：

1、这次装机，我把数据库放回了1号机。

2、没有了HA软件，整个世界都干净了。如果2号机故障，ERP系统仍然可以正常使用。1号机故障，管理员手工敲几个命令只花几分钟就可以把服务在2号机上重启。管理非常简单轻松，让我腾出大量的时间去吃掉ABAP模块，完成BASIS向ABAP转型。

3、开启物理内存压缩功能，96GB物理内存变为192GB内存。

4、打开oracle数据压缩，数据库里的数据增长减慢。

不足：

ECC版本的完美架构，没有发现不足。

PAS主机文件系统：

Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4           2.00      1.75   13%    10331     3% /
/dev/hd2           5.00      2.12   58%    55556    11% /usr
/dev/hd9var        1.00      0.61   39%     6370     5% /var
/dev/hd3          50.00     47.67    5%     4311     1% /tmp
/dev/hd1           1.00      1.00    1%       89     1% /home
/dev/hd11admin      1.00      1.00    1%        5     1% /admin
/proc                 -         -    -         -     -  /proc
/dev/hd10opt       1.00      0.86   14%     6979     4% /opt
/dev/livedump      1.00      1.00    1%        5     1% /var/adm/ras/livedump
/dev/fslv00       50.00     23.72   53%     7405     1% /sapmedia
/dev/fslv04     1990.00   1077.27   46%    50881     1% /oracle
/dev/backuplv   9000.00   1697.13   82%     3503     1% /prdbackup
/dev/fslv01       20.00     17.40   13%    11031     1% /sapmnt
/dev/fslv02       20.00      9.50   53%    33038     2% /usr/sap
/dev/fslv03       50.00     48.24    4%    10204     1% /usr/sap/trans

APP主机文件系统：

Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on
/dev/hd4           5.00      4.53   10%    10584     1% /
/dev/hd2          52.00     19.46   63%    87419     2% /usr
/dev/hd9var        1.00      0.62   38%     6358     5% /var
/dev/hd3          50.00     46.53    7%     4927     1% /tmp
/dev/hd1           1.00      1.00    1%      116     1% /home
/dev/hd11admin      1.00      1.00    1%        5     1% /admin
/proc                 -         -    -         -     -  /proc
/dev/hd10opt       1.00      0.86   14%     6971     4% /opt
/dev/livedump      1.00      1.00    1%        4     1% /var/adm/ras/livedump
/dev/fslv00       50.00     23.72   53%     7405     1% /sapmedia
/aha                  -         -    -        18     1% /aha
erpprd1:/sapmnt     20.00     17.40   13%    11033     1% /sapmnt
erpprd1:/usr/sap/trans     50.00     48.24    4%    10204     1% /usr/sap/trans
 

--------第四套----某大型制造企业ERP生产系统------------

运维时间：2017-2019

操作系统：suse

数据库：HANA 2.0

SAP系统：S/4 1709

双机软件：无

特点：

1、三台服务器和两台HANA一体机构成集群。

2、ASCS实例安装在1号机，VMware平台的FT功能保障不停机。ASCS配置通过文件共享方式提供给2、3号机。

3、PAS中心实例安装、运行在2号机。

4、AAS实例安装、运行在3号机。

5、HANA数据库备份恢复极大简化，完成一次恢复只是分分钟的事情。

不足：

没有发现不足。

 

ASCS机：

Filesystem               Size  Used Avail Use% Mounted on
devtmpfs                  16G     0   16G   0% /dev
tmpfs                     48G   80K   48G   1% /dev/shm
tmpfs                     16G  1.3G   15G   8% /run
tmpfs                     16G     0   16G   0% /sys/fs/cgroup
/dev/mapper/system-root  168G   72G   96G  43% /
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/mysql
/dev/mapper/system-root  168G   72G   96G  43% /var/tmp
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/libvirt/images
/dev/mapper/system-root  168G   72G   96G  43% /var/log
/dev/mapper/system-root  168G   72G   96G  43% /.snapshots
/dev/mapper/system-root  168G   72G   96G  43% /tmp
/dev/mapper/system-root  168G   72G   96G  43% /opt
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/named
/dev/mapper/system-root  168G   72G   96G  43% /usr/local
/dev/mapper/system-root  168G   72G   96G  43% /var/spool
/dev/mapper/system-root  168G   72G   96G  43% /srv
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/mariadb
/dev/mapper/system-root  168G   72G   96G  43% /var/opt
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/mailman
/dev/mapper/system-root  168G   72G   96G  43% /home
/dev/mapper/system-root  168G   72G   96G  43% /var/crash
/dev/mapper/system-root  168G   72G   96G  43% /boot/grub2/x86_64-efi
/dev/mapper/system-root  168G   72G   96G  43% /var/cache
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/machines
/dev/mapper/system-root  168G   72G   96G  43% /boot/grub2/i386-pc
/dev/mapper/system-root  168G   72G   96G  43% /var/lib/pgsql
tmpfs                    3.2G     0  3.2G   0% /run/user/1001
tmpfs                    3.2G     0  3.2G   0% /run/user/1000
tmpfs                    3.2G     0  3.2G   0% /run/user/1002
tmpfs                    3.2G   16K  3.2G   1% /run/user/482
tmpfs                    3.2G     0  3.2G   0% /run/user/0
 

PAS：

Filesystem                 Size  Used Avail Use% Mounted on
devtmpfs                    63G  8.0K   63G   1% /dev
tmpfs                      119G   80K  119G   1% /dev/shm
tmpfs                       63G  163M   63G   1% /run
tmpfs                       63G     0   63G   0% /sys/fs/cgroup
/dev/mapper/system-root    168G   42G  125G  25% /
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/machines
/dev/mapper/system-root    168G   42G  125G  25% /var/spool
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/pgsql
/dev/mapper/system-root    168G   42G  125G  25% /srv
/dev/mapper/system-root    168G   42G  125G  25% /opt
/dev/mapper/system-root    168G   42G  125G  25% /tmp
/dev/mapper/system-root    168G   42G  125G  25% /var/cache
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/mailman
/dev/mapper/system-root    168G   42G  125G  25% /var/tmp
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/libvirt/images
/dev/mapper/system-root    168G   42G  125G  25% /home
/dev/mapper/system-root    168G   42G  125G  25% /usr/local
/dev/mapper/system-root    168G   42G  125G  25% /var/log
/dev/mapper/system-root    168G   42G  125G  25% /var/crash
/dev/mapper/system-root    168G   42G  125G  25% /.snapshots
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/mariadb
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/named
/dev/mapper/system-root    168G   42G  125G  25% /boot/grub2/x86_64-efi
/dev/mapper/system-root    168G   42G  125G  25% /var/lib/mysql
/dev/mapper/system-root    168G   42G  125G  25% /var/opt
/dev/mapper/system-root    168G   42G  125G  25% /boot/grub2/i386-pc
tmpfs                       13G   16K   13G   1% /run/user/482
tmpfs                       13G     0   13G   0% /run/user/1001
tmpfs                       13G     0   13G   0% /run/user/1002
tmpfs                       13G     0   13G   0% /run/user/0
s4prdascs:/sapmnt/S4P      168G   72G   96G  43% /sapmnt/S4P
s4prdascs:/usr/sap/trans/  168G   72G   96G  43% /usr/sap/trans
 

AAS：

Filesystem                 Size  Used Avail Use% Mounted on
devtmpfs                    63G  8.0K   63G   1% /dev
tmpfs                      119G   80K  119G   1% /dev/shm
tmpfs                       63G  155M   63G   1% /run
tmpfs                       63G     0   63G   0% /sys/fs/cgroup
/dev/mapper/system-root    168G   42G  126G  25% /
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/mariadb
/dev/mapper/system-root    168G   42G  126G  25% /boot/grub2/i386-pc
/dev/mapper/system-root    168G   42G  126G  25% /.snapshots
/dev/mapper/system-root    168G   42G  126G  25% /var/opt
/dev/mapper/system-root    168G   42G  126G  25% /var/crash
/dev/mapper/system-root    168G   42G  126G  25% /home
/dev/mapper/system-root    168G   42G  126G  25% /var/cache
/dev/mapper/system-root    168G   42G  126G  25% /opt
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/named
/dev/mapper/system-root    168G   42G  126G  25% /var/spool
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/mailman
/dev/mapper/system-root    168G   42G  126G  25% /boot/grub2/x86_64-efi
/dev/mapper/system-root    168G   42G  126G  25% /tmp
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/machines
/dev/mapper/system-root    168G   42G  126G  25% /var/tmp
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/pgsql
/dev/mapper/system-root    168G   42G  126G  25% /usr/local
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/libvirt/images
/dev/mapper/system-root    168G   42G  126G  25% /var/lib/mysql
/dev/mapper/system-root    168G   42G  126G  25% /srv
/dev/mapper/system-root    168G   42G  126G  25% /var/log
tmpfs                       13G   16K   13G   1% /run/user/482
tmpfs                       13G     0   13G   0% /run/user/1001
tmpfs                       13G     0   13G   0% /run/user/1002
tmpfs                       13G     0   13G   0% /run/user/0
s4prdascs:/sapmnt/S4P/     168G   72G   96G  43% /sapmnt/S4P
s4prdascs:/usr/sap/trans/  168G   72G   96G  43% /usr/sap/trans