日志服务自助排查问题

收集端错误

根据ilogtail.LOG中具体错误来判断

文件位置：/usr/local/ilogtail/ilogtail.LOG，用户需要关心的是ERROR/WARNNING级别日志。

常见错误

1. 在日志中出现下列错误，表示gbk日志转码utf8错误,请确认日志文件是gbk编码

   ``` convert GBK to UTF8 fail, errno ```
   

1. 日志切行错误,请查看日志行首正则表达式是否正确，另外保证单条日志大小在512KB以内。

   ``` no log lines parse success : please check log_begin_regex ```
   
   

2. 行首正则表达式与日志内容不匹配。

   ``` regex_match in LogSplit fail, exception ```
   

1. 正则解析日志错误,日志内容与正则解析表达式不匹配，请修改正则。

   ``` parse regex log fail```
   

1. 丢弃历史数据,logtail在解析新增日志内容完成后，会检查当前的日志时间是否合法，并丢弃在当前系统时间5分钟前产生的日志数据。请减少内存中buffer的日志数据大小并尽快flush让日志落盘。

   
   ```scard history data ```
   
   
   

2. 数据发送错误

   ``` send data to SLS fail : discard data ```
   

3. 数据发送失败并丢弃数据，请关注该发送错误对应的error_code、error_message。logtail发送数据失败，会立即重试发送该请求，数据不丢失。

send data to SLS fail, write to buffer file and retry later ```

8. logtail发送数据失败，会将该日志数据写到本地磁盘文件（最多1GB，大小移出后FIFO覆盖最旧文件写），在接下来的24小时内为用户进行重试。

```send data fail, unknown excepiton, retry later```


9. quota超限导致数据无法写入，请提工单，申请调整quota。

```send data fail, errorCode: SLSWriteQuotaExceed```



10.  日志时间计算错误

```Parse Time Fail, exception```

11. 请检查time字段设置的次数是否正确，日期格式timeformat与日志内容是否匹配。

```extract time of first log line fail```

12. 计算日志的首行数据的日志时间出错，请检查time字段设置的次数是否正确，日期格式timeformat与日志内容是否匹配。

```parse apsara log time fail```

13. 飞天日志的时间格式错误，请检查是否使用正确的apsara logger。

```paser time for regex log fail```

14. 使用正则表达式解析的日志时间格式错误，请检查time字段设置的次数是否正确，日期格式timeformat与日志内容是否匹配。

``` discard error timeformat log```


15. 注册监控项超出限制,logtail最多使用操作系统的三千个目录，（logtail默认会递归注册监控目录），请缩小监控目录范围。

```failed to register dir, exceed the max allowed watch num```


16. 日志文件轮转过快,日志文件在短时间内多次发生轮转，logtail处理不及，可能会丢失部分已轮转的日志尾部数据。请尝试降低日志轮转频度。

```file rollback again in a short interval, stop read file```


17. 日志截断写错误,当日志截断写的时候，logtail发现文件签名（前1024字节）发生变化，会从头开始解析该日志文件。

```currentOffset little than lastReadOffset, file maybe truncated```


18. 配置错误,用户收集config配置的日志目录不存在，请检查应用日志目录、文件。

```logPath in config not exist```


19. 网络错误,请测试网络是否可以联通，logtail使用域名在/usr/local/ilogtail/ilogtail_config.json

```send data fail, error_code:SLSClientNetworkError errorMessage:Request operation failed. CURL_ERROR_CODE:6```


## 根据监控信息判断发生了什么错误

[通过logstore监控查看日志服务是否正常](https://help.aliyun.com/document_detail/sls/faq/logmonitor.html)

## 机器组机器心跳fail问题解决办法

[请参考](https://help.aliyun.com/document_detail/sls/faq/logtail.html)文档中的"为什么我的Logtail心跳状态不正常？"


## 预览能看到日志，无法查询日志

预览日志功能只提供查看20条日志，如果需要查询具体的日志，请先创建索引

## 多久能看到写入的数据

使用sdk写入的数据，可以立刻通过SDK批量消费，30s后可以通过关键字查询。

使用logtail写入的数据，3s后可以通过SDK批量消费，30s后可以通过关键字查询。