文件句柄超限导致数据库B节点启动失败

文件句柄：在文件I/O中，要从一个文件读取数据，应用程序首先要调用操作系统函数并传送文件名，并选一个到该文件的路径来打开文件。该函数取回一个顺序号，即文件句柄（file handle)
该文件句柄对于打开的文件是唯一的识别依据，要从文件中读取一块数据，序调用函数ReadFile，并将文件句柄在内存中的地址和要拷贝的字节数传送给操作系统。完成任务后再调用函数关闭该文件。"
创建一个句柄，open 函数打开文件
+
数据库句柄：+
问题数据服务器 IP: 20.200.173.51
Linux 对能够打开的文件句柄的数量做了限制，三个层面
．系统层面＋
■查看句柄限制：cat /proc/sys/fs/file-max

link/ether fa:16:3e:ca:90:10 brd ff:ff:ff:ff:ff:ff
inet 20.200.173.51/24 brd 20.200.173.255 scope global bondo
valid lft forever preferred lft forever
inet 20.200.173.235/24 brd 20.200.173.255 scope global secondary bond0:1
valid_lft forever preferred_lft forever
inet6 fe80::f816:3eff:feca:9010/64 scope link
valid_lft forever preferred_lft forever
[omm@gaussdbA fs]s cat/proc/sys/fs/file-max
65535
[omm@gaussdbA fsls
用户层面
查看ulimit -n
omm@gaussdbA fs]s ulimit -n
000000
进程层面：ps-eflgrep open
mposussdbA
1515 09
F11rep
-
5510 5509 0 14:057
00:00:00./usr/Lsbexec/openssh/sftp-server
1
7018
199 1月021
13.20:28:29 /app/gnu5s_5olt/opengau55/app/2.9.t/bin/gaussdb-D/app/ga/xyda/ogdata/data/dhlHprinary
oM
16118
1 113:49 pts/0
08:02:51 om monstor -1 /app/gauss_saft/opengauss/gaussdo_lag/on/ca/on_manitor
07
16650 16110 21 13:40 pts/016674 1 12 13:49 pt5/026324 1912 o 13:54 pts/026559 26564 015:10
00:18.03 /app/qauss soft/opengauss/app/2.0.1/bin/ca_agent
om
00:10:49/app/qauss_soft/cpengauss/app/2.0.1/bin/cm server
0m
00:00:00 /bin/hash /app/qauss soft/opengauss/tool/stript/ssh gausscbli
TB
09:00:00 /usr/Libexec/openssh/sftp-setver
V50
11091 266100 15:14 p15/241472 36613 0 14:11 015/3
08:00:00 grep.-color-auto open
00.00.00 /bin/bash /app/qauss_soft/opengauss/teol/script/sshgaussdbi
emeaausscbA fos
n
nn
nnogaussde& fots
copgaussobA fsis psefigrep open
n10550ND14106
K00:00:00/uvr//shexec/openssh/sftp-server
7HL
AIOZ7
13 20:28:29 /app/gauss soft/oparqaus5/app/z.0.i/bin/gaussob 0/app/qaussdb/ogdata/data/on Hprisary
INiLH
I111:4Vpt520
80iu2:51 o# monitor L/app/qauss_soft/opengauss/giussdi_log/omm/ca/ue_sunitor
16650 16110 21 13:49 pt5/01067451326124 1912 0 13:54 pts/0
00:10:03/app/gauss_soft/cpengauss/app/2.0.1/bin/cn_agent
F
211.40 pts0
100:LO:49 /app/gauks_soft/opergauss/app/2.0.l/bin/ca_server
100:00:00 /bin/bash /app/gaus5_50ft/opengauss/tool/script/sshgaussdbe
¥3
26569 26564 0 15:20 7
100.00.00 /usr/tabesec/openssh/sftp-server
31091 26630 0 15:14 pts/2
00:00:00grep.color=uto epen
41472 36613 0 14:11 pts/3
00:00:00 /bun/bash /pp/ouss soft/opengauss/tool/script/ssh qauoedba

 

20.200.173.51 是 bdus-db4，同时查询聚合库和 db1，都是设置的 65535.
查询进程打开了多少文件： Isof -p 5917 Iwc -lv
iiim
lomm@gaussdbA om monitorls ps
-eflgrep open
14-02:09:07 /app/gauss_soft/opengauss/app/2.0.1/bin/gaussdb-D/app/ga
omm
2018
1 99 1月02 ?
ssdb/ogdata/data/dn1
-M primary
00:00:00 grep.color=auto open
Qmm
10194 64229
9 15:54 pts/1
00:04:11 om_monitor-L/app/gauss_soft/opengauss/gaussdb_log/omm/cm/o
omm
16118
313:49pts/0
monitor
00:26:18 /app/gauss_soft/opengauss/app/2.0.1/bin/cm_agent 00:15:54/app/gauss_soft/opengauss/app/2.0.1/bin/cm_server 00:00:00 /bin/bash/app/gauss_soft/opengauss/tool/script/sshgaussdbB 00:00:00/bin/bash/app/gauss_soft/opengauss/tool/script/ssh gaussdbB 00:00:00/usr/libexec/openssh/sftp-server
16650 16118 20 13:49 pts/0
omm
16674
1 12 13:49 pts/0
om酷
1917 0 13:54 pts/0
QND
26124
0mm
41472 36613 0 14:11 pts/3
omm
64175 64174 0 15:45 ?
lommigaussdbA cm monitor]s
Tomm@gaussdbA on_nonitorls Isof -p 7018 lwc -1
9041
[omm@gaussdbA on_manitorls
监控目录：/app/gauss_soft/opengauss/geussdo_log/omm/cm/cm_monitor
+
20.198.12.58
文件句柄数超限导致B节点启动不了﹣问题记录
d)20,198,121.58 没有 CM 集群，需要升级成 CM
b)
c) 启动B节点时失败，发现文件句柄数超限
i
报啥错
ii．为什么打开文件数这么多"
d) 文件句柄超时因为file-max 配置的太小，调大后集群正常＋
i．基线是多少，测试环境配置的是多少，生产是多少。
ii．正常file-max 很大，不知为何这个机器小一，正常就是6w 多，备机还要更多＋
iii, 句柄数的监控，观测是否会有不断增加的趋势？
iv.
2．备机需要这么多句柄么？都干啥呢？是开了没关，还是bug?
查询 opengauss所有句柄数
ps-ef lgrep opengaussl grep -v grep lawk '{print "lsof-p "$2 " wc -l"}' lsh