- 博客(16)
- 收藏
- 关注
RSS订阅原创 使用Filebeat收集并分析nginx的访问日志
之前我们已经搞定了nginx+keepalived双机，花了一个多星期时间把业务都迁移过来之后，基本稳定，中间还遇到一次意外宕机，keepalived也顺利做了主备切换，接下来就要做日志分析了。日志分析，本身从等保的要求就是需要日志第三方存储的，另外就是日志也是分析访问量的一个重要依据，比如网站访问量、比如从错误日志中分析数据，等等。
2023-01-19 16:01:23
1948
原创 清理Windows Temp目录下的cab*文件
有台Windows 2008 R2服务器突然C盘爆满，发现是因为temp目录下多了好多cab*的文件：查了下，是因为微软的一个Bug造成的，大致意思就是在 C:\windows\logs\cbs文件夹下有超过2g的文件，Windows会将他打包，但打包失败了，就在temp下造成了大量垃圾文件。处理办法：* 删除c:\windows\logs\cbs下的文件* 删除c:\windows\temp下的所有cab*文件解决。参考：cab_xxxx files found
2022-04-09 22:30:14
2721
原创 调整elasticsearch的jvm heap值
集群里有两台elasticsearch老是服务死机，报错大致如下：Mar 26 08:19:47 es104 systemd[1]: Started Elasticsearch.Mar 27 09:53:26 es104 systemd-entrypoint[8614]: [92045.788s][warning][gc,alloc] elasticsearch[nau-node-104][[syslog-fw-unicom-nat-20220327][0]: Lucene Merge Thread
2022-03-27 16:20:58
2900
原创 SQL Server to PostgreSQL 的字段错误（bit vs boolean）
SQL Server to PostgreSQL 的字段错误（bit vs boolean）
2022-03-17 00:19:00
2647
原创 使用Gitlab的CI/CD实现简单的自动发布
我们做了个简单的docsify帮助网页，因为多人协作，加上源文件都是md格式的，于是把它放在了自己的gitlab上。但是这样一来问题就是如果要发布文件，必须每次更新完都让服务器管理员去到服务器上执行一下拉取，显然不合理，看到gitlab的ci/cd功能，正好研究下，记录下来。ci/cd介绍什么是ci/cd？红帽是这么说的：CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部署。作为一个面向开发和运营团队的解决方案，CI/CD 主
2022-02-07 14:22:43
8526
原创 冷热分层的elasticsearch架构下，分片无法分配到warm节点
问题现象昨天给es集群新增了warm节点，在elasticsearch.yml中配置如下node.roles: [data, data_warm]但是今天发现集群yellow，有个分片无法分配，通过GET /_cluster/allocation/explain可以看到报错如下：问题分析ps，实际上每个节点都有这个报错，我截取的是warm节点的内容。折腾半天，才发现具体原因。首先是因为我之前测试冷热分层的时候，使用的是腾讯云的文档腾讯云的文档，文档里的做法是：给节点增加一个属性，比如no
2022-01-30 22:07:51
1216
原创 Windows下logstash安装插件提示“No `java.exe‘ executable found on PATH.”
Windows下的logstash，运行bin/logstash正常执行都OK，但安装插件的时候就提示这个：e:\logstash-7.16.0-windows-x86_64\logstash-7.16.0\bin>logstash-plugin install logstash-output-elasticsearch"Using bundled JDK: ."No `java.exe' executable found on PATH.而很显然java.exe是在的。解决办法
2022-01-28 00:05:15
2928
原创 使用logstash接收syslog，针对同一端口区分不同索引
概述之前已经实现了syslog到logstash到elasticsearch的一个syslog收集过程。但是有个问题一直困扰我，就是有些设备因为比较老，不支持将syslog送到不同的端口，所以他们的日志在kibana里就很难区分，也就不太好针对性的去做解析了。折腾了一下午，google无数+es论坛的帮助，基本解决了这个问题。解决方法大致的思路还是在logstash上做文章。我们知道，logstash的配置文件分为三个部分，即input、filter和output。首先在input这里，参数如下。
2022-01-23 23:39:14
3195
原创 Dell ME4012存储体验
新到一台存储，Dell ME4012，也是低端存储，和之前的HP MSA2060很像 ，大致记录如下。管理地址仍然是10.0.0.2/10.0.0.3，和HP MSA2060一样... 进入管理口直接让你新建账号，这也和MSA2060一样，这是一家产的？ 这次是FC的，所以直接用光纤插上就行了； 仍然是新建池，池里新建卷，卷再映射的操作； 卷可以设置快照，自带授权； 仍然支持复制，现在低端存储也开始卷了.. 支持Dell 的Support Assistant，坏了Dell会给你打电话？
2022-01-14 17:50:09
3830
1
原创 Windows下Oracle 11gR2 BUG造成监听失败
有台Windows 2008 R2下的Oracle 11g，运行一直很正常，突然发现数据库连不上了。检查发现：本地sqlplus可以，直接select * from dual也正常有返回； 远程无法连接，显示没有监听，telnet 1521端口不通； 本地sqldeverloper也报错，提示 “执行请求的操作时遇到错误: IO 错误: The Network Adapter could not establish the connection 供应商代码 17002”经查，是Oracle
2022-01-12 19:11:48
612
原创 HPE MSA2060存储体验
新到一台HPE MSA2060存储，经费限制，先买了一个机头，4块14TBSAS 7.2K硬盘，做完Radi5大概40个T的容量。这机器本来就是HPE的低端存储,H3C对应的是CF系列，不过据说比HPE卖的还贵（当然，是据说。）机器本身是双控，网卡插上去，10.0.0.2/3就可以Web管理连接了； 配了4个万兆网口，不过偷懒只插了两个模块到核心交换机，分别配置iSCSI地址即可； VMWare里没啥好说的，正常发现，设置路径为循环即可； 机器出厂就支持快照，不过没用这个功能； 控制器小哥来安装
2022-01-08 22:15:17
3715
原创 使用elasticsearch保存h3c防火墙的nat日志
title: 使用ES解析H3C防火墙的NAT444日志tags: 新建,模板,小书匠renderNumberedHeading: truegrammar_cjkRuby: true其实第一篇应该写ELK的安装配置的，不过搞定了NAT日志，心情不错，把它记录下来。目标众所周知，NAT日志是校园网日志重要的一个部分由于出口绝大多数高校都是NAT，那么作为日志留存，我们就必须能够记录下具体的端口号、公网IP等。方式搭建ELK集群这个不多说了，后面有空详细写。我们的流程是：H3C防火墙.
2022-01-02 23:05:35
2972
1
原创 elasticsearch节点版本不一致造成分片黄色
昨天在es集群上增加了一台Linux节点（之前都是Windows），Windows的版本是7.16.0，Linux的版本是7.16.2，之前记得在哪看到说小版本是不影响的，也没太在意。昨天运行一切正常。然后今天早上进集群一看，发现集群变黄色了，提示有几个Shade不正常，而且都是今天新建的Shade。到开发工具里，使用GET /_cluster/allocation/explain查看，发现居然是版本问题cannot allocate replica shard to a n
2021-12-22 10:45:07
8570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人