服务启动失败以及线上问题排查常用命令

前些天，部署服务的时候，运行./startup.sh,显示服务已启动，但是查看日志发现端口已经被占用，

java.net.BindException: 地址已在使用
	at sun.nio.ch.Net.bind0(Native Method)
	at sun.nio.ch.Net.bind(Net.java:433)
	at sun.nio.ch.Net.bind(Net.java:425)
	at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
	at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
	at org.apache.tomcat.util.net.NioEndpoint.bind(NioEndpoint.java:210)
	at org.apache.tomcat.util.net.AbstractEndpoint.start(AbstractEndpoint.java:990)
	at org.apache.coyote.AbstractProtocol.start(AbstractProtocol.java:635)
	at org.apache.catalina.connector.Connector.startInternal(Connector.java:1022)
	at org.apache.catalina.util.LifecycleBase.start(LifecycleBase.java:150)
	at org.apache.catalina.core.StandardService.addConnector(StandardService.java:225)
	at org.springframework.boot.context.embedded.tomcat.TomcatEmbeddedServletContainer.addPreviouslyRemovedConnectors(TomcatEmbeddedServletContainer.java:250)
	at org.springframework.boot.context.embedded.tomcat.TomcatEmbeddedServletContainer.start(TomcatEmbeddedServletContainer.java:193)
	at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.startEmbeddedServletContainer(EmbeddedWebApplicationContext.java:297)
	at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.finishRefresh(EmbeddedWebApplicationContext.java:145)
	at org.springframework.context.support.AbstractApplicationContext.refresh(AbstractApplicationContext.java:546)
	at org.springframework.boot.context.embedded.EmbeddedWebApplicationContext.refresh(EmbeddedWebApplicationContext.java:122)
	at org.springframework.boot.SpringApplication.refresh(SpringApplication.java:693)
	at org.springframework.boot.SpringApplication.refreshContext(SpringApplication.java:360)
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:303)
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1118)
	at org.springframework.boot.SpringApplication.run(SpringApplication.java:1107)
	at com.wanmi.sbc.groundpush.GroundPushApplication.main(GroundPushApplication.java:27)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.springframework.boot.loader.MainMethodRunner.run(MainMethodRunner.java:48)
	at org.springframework.boot.loader.Launcher.launch(Launcher.java:87)
	at org.springframework.boot.loader.Launcher.launch(Launcher.java:50)
	at org.springframework.boot.loader.JarLauncher.main(JarLauncher.java:51)

线上排查问题经常用到哪些命令，总结如下：

1.linux重查看端口号是否被占用

1) netstat  -anp  |grep   端口号

如下3306端口已被mysql占用，LISTEN表示已经被占用，最后一列显示被mysqld占用

2)lsof -i :端口号

也可以看到3306被占用了

2.了解机器连接数情况

127.0.0.1的sshd的监听端口是22，如何统计127.0.0.1的sshd服务各种连接状态(TIME_WAIT/ CLOSE_WAIT/ ESTABLISHED)的连接数。

netstat -lnpta | grep ssh | egrep “TIME_WAIT | CLOSE_WAIT | ESTABLISHED”

说明：netstat是追查网络连接问题常用工具，和grep/awk结合更是神器，当然如果在阿里云上，还有更方便的方法。

 

3.从已经备份好的日志中查询数据

从已备份的abc.2019-06-26.log.bz2日志中，找出包含关键字1.2.3.4的日志有多少条。

常见方法：

• bzcat abc.2019-06-26.log.bz2 | grep '1.2.3.4' | wc -l
• bzgrep '1.2.3.4' abc.2019-06-26.log.bz2 | wc -l
• less abc.2019-06-26.log.bz2 | grep '10.37.9.11' | wc -l

 

说明：线上日志文件一般以bz2 压缩之后保留，如果解压查询，非常耗空间与时间，bzcat和bzgrep是研发同学必须掌握的工具。

 

4.备份服务的技巧

问题：打包备份/opt/web/abc_web目录，排除掉目录中的logs和目录，打包好的文件存放在/opt/backup目录下。

 

常见方法：

tar -zcvf /opt/backup/abctar.gz  -exclude /opt/web/abc_web/logs   /opt/web/abc_web

说明：这个命令线上应用较为频繁，在项目需要打包迁移时，常常需要排除掉日志目录，exclude是需要掌握的参数。

 

5 .查询线程数

查询服务器运行服务的总线程数，当机器线程数超报警阀值时，能快速查出相关进程及线程信息。

ps -eLf | wc -l 或者pstree -p | wc -l

 

6 磁盘报警，清空最大文件

找出服务器上，某个正在运行的tomcat产生的大量异常日志，找出该文件，并释放空间。不妨设该文件包含log关键字，并且大于1G。

 

常见方法：

第一步，找到该文件

• find / -type f -name "*log*" | xargs ls -lSh | more 
• du -a / | sort -rn | grep log | more
• find / -name '*log*' -size +1000M -exec du -h {} \;

 

第二步，将文件清空

假设找到的文件为a.log

正确的情况方式应该为：echo "">a.log 文件空间会立刻释放。

如果使用rm -rf a.log 这样文件虽然删除，但是因tomcat服务仍在运行，空间不会立刻释放，需要重启tomcat才能将空间释放。

 

7.显示文件，过滤注释

显示server.conf 文件，屏蔽掉#号开头的注释行

常见方法：

• sed -n '/^[#]/!p' server.conf
• sed -e '/^#/d' server.conf
• grep -v "^#" server.conf

 

8 磁盘IO异常排查

遇到磁盘IO异常如何排查，类似写入慢或当前使用率较高，请查出导致磁盘IO异常高的进程ID。

常见方法：

第一步：

iotop -o

查看当前正在写磁盘操作的所有进程ID信息。

第二步：如果此时各项写入指标都很低，基本没有大的写入操作，则需要排查磁盘自身。可以查看系统

dmesg 或者是cat /var/log/message

看看是否有相关的磁盘异常报错，同时可以在写入慢的磁盘上touch一个空文件看看，是否磁盘故障导致无法写入.