使用python的大规模linux服务器监控系统开发——信息收集方式及ssh慢和SSHException('No existing session',)问题

信息收集方式

使用python的paramiko模块多线程ssh到每台服务器上执行shell命令，将返回结果处理入库。

通过定时任务执行python脚本，采集间隔2分钟，crontab最低一分钟，对于主机指标监控足够了。目前优化的结果是750台主机40几秒完成，如果规模再大的话可以考虑将主机列表分成两部分分别放在两台服务器上收集，不过当然应该先优化并发执行能力。

ssh慢的问题

实行ssh命令后等半天才让输密码，网上查了是因为sshd使用了使用DNS解析，解决方法有两个：
1. 把ssh目标主机的hostname和ip地址添加到hosts文件中
2. 修改/etc/ssh/sshd_config文件，将#UseDNS yes改为UseDNS no然后重启sshd服务。

共750台服务器，其中有206个ssd_config默认值是#UseDNS yes\n的。

多线程ssh收集信息入库，每个线程间隔0.07秒，平均每次耗时1分5秒

(‘start…’, ‘2018-04-26 13:54:01’)
(‘end…’, ‘2018-04-26 13:55:05’)
(‘start…’, ‘2018-04-26 13:56:02’)
(‘end…’, ‘2018-04-26 13:57:06’)
(‘start…’, ‘2018-04-26 13:58:01’)
(‘end…’, ‘2018-04-26 13:59:07’)
(‘start…’, ‘2018-04-26 14:00:01’)
(‘end…’, ‘2018-04-26 14:01:06’)
(‘start…’, ‘2018-04-26 14:02:01’)
(‘end…’, ‘2018-04-26 14:03:06’)

---

修改为UseDNS no以后，缩短为55秒，节省了10秒

(‘start…’, ‘2018-04-26 14:04:01’)
(‘end…’, ‘2018-04-26 14:04:55’)
(‘start…’, ‘2018-04-26 14:06:01’)
(‘end…’, ‘2018-04-26 14:06:56’)
(‘start…’, ‘2018-04-26 14:08:01’)
(‘end…’, ‘2018-04-26 14:08:56’)
(‘start…’, ‘2018-04-26 14:10:01’)
(‘end…’, ‘2018-04-26 14:10:56’)

---

修改每个线程间隔时间，每减少0.01秒，整体快==6-7==秒

(‘start…’, ‘2018-04-26 14:12:01’)
(‘end…’, ‘2018-04-26 14:12:56’)
(‘start…’, ‘2018-04-26 14:14:01’)
(‘end…’, ‘2018-04-26 14:14:49’)
(‘start…’, ‘2018-04-26 14:16:02’)
(‘end…’, ‘2018-04-26 14:16:49’)
(‘start…’, ‘2018-04-26 14:18:02’)
(‘end…’, ‘2018-04-26 14:18:43’)
(‘start…’, ‘2018-04-26 14:20:01’)
(‘end…’, ‘2018-04-26 14:20:43’)

SSHException(‘No existing session’,)问题

一直减到0.04秒时开始报错，部分主机ssh失败

SSHException(‘No existing session’,)

目前理解是线程不够用了，所有线程都用完了，第一个线程却还没执行完，不知道对不对，但是调整线程间隔时间就可以解决。