- 博客(4)
- 资源 (19)
- 收藏
- 关注
原创 elasticsearch报错index read-only
背景线上服务器的Elasticsearch服务大量报错,查询数据没问题,但是新增或者修改数据时,返回如下错误:{ "error": { "root_cause": [ { "type": "cluster_block_exception", "reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];" } ], "type": "
2020-05-28 20:17:57 4565
原创 TIME_WAIT与Http的Keep-Alive
背景虽然上一次服务器TIME_WAIT连接过多导致报警后,解决方案初步拟定,但是还有一个疑问:线上的服务器架构是前端 -> nginx -> server的模式,但是nginx服务器并没有触发报警,仅仅后端server服务器触发了报警。况且是一台nginx服务器负载均衡了多台server服务器,当时每台server服务器均触发了6000的连接数阈值,但nginx上仅仅有三千多的连接数。查看连接数命令如下:[nginx@hd2-cil-rs-nginx-01 ~]$ netstat -n |
2020-05-28 20:16:56 1099
原创 记一次TIME_WAIT导致连接数报警
背景公司监控报警,提示线上服务器的TCP连接数超过警告阈值。报警的几个机器原先的业务量请求量并不大,所以预设的报警阈值并不高只有6000,突然报警有点措手不及,于是先登录服务器把当前的所有连接情况打印下来统计分析。[webapp@hd2-cil-rs-app-02 ~]$ netstat -natp > tmp[webapp@hd2-cil-rs-app-02 ~]$ wc -l tmp5410 tmp原因分析TCP连接数量暴涨,初步怀疑如下:某应用的数据库连接泄漏,使用后数据库连
2020-05-28 20:14:07 27792
原创 记一次生产事故OOM问题排查
背景线上应用需要进行一个涉及600W数据的操作,之前我们应用从来没有一次性应对这么大量的数据,最多就一次数十万而已。结果,这次600W的数据操作引起了生产事故,直接导致应用不可用长达半小时之久。OOM晚上九点半,监控告警提示线上应用宕机。紧急排查发现应用的的进程已经不在了,怀疑是因为内存占用过多导致被操作系统杀进程了。接着查看操作系统日志,如下,果然发现是因为内存占用高达8G而被系统直接杀进程。[webapp@hd2-cil-rs-app-01 ~]$ dmesg...[38617319.5
2020-05-28 20:11:25 1587 1
国密算法SADK-3.2.1.3.jar
2019-09-12
jdk-8u161-windows-x64.exe
2018-04-11
erlang-19.0.4-1.el7.centos.x86_64.rpm
2018-03-22
动态代理接口并注册到spring容器
2017-12-26
redis-3.2.8.tar.gz
2017-09-29
libfastcommon-1.36
2017-09-29
fastdfs-5.12
2017-09-29
nginx-1.12.0.tar.gz
2017-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人