ats日志过滤

原创 2016年08月21日 17:39:57

392 <LogFormat>

393      <Name = "access"/>

394      <Format = "%<chi> - [%<cqtn>] %<cqhm> %<cquc>/%<cqhv> %<pssc> %<psql> %<crc> %<phr>/%<pqsn> \"%<{User-Agent}cqh>\" %<psct>"/>

395 </LogFormat>

396

397 <LogFilter>

398     <Name = "test_access"/>

399     <Condition = "psct CASE_INSENSITIVE_CONTAIN text/html"/>

400     <Action = "REJECT"/>

401 </LogFilter>

402

403 <LogObject>

404      <Format = "access"/>

405      <Filename = "access"/>

406      <Filters = "test_access"/>

407 </LogObject>


1.这里自定义了日志格式access.log,

2.定义了一个日志收集方式,一个过滤条件,把产生text/html文件的日志过滤掉,非text/html文件日志将写到本地日志

access.log中。



3.自定义日志:

   主配置文件records.config:

     proxy.config.log.squid_log_enabled INT 0     关闭squid日志

     proxy.config.log.custom_logs_enabled INT 1     开启自定义日志指令


日志文件logs_xml.config:

<LogFormat>

     <Name = "access"/>

     <Format = "%<chi> - [%<cqtn>] \"%<cqhm> %<cquc> TCP/%<cqhv>\" %<pssc> %<psql> \"%<{Referer}cqh>\" \"%<{User-Agent}cqh>\" \"%<crc>\" \"%<{Cookie}cqh>\" \"%<caun>\" "/>

</LogFormat>

<LogObject>

     <Format = "access"/>

     <Filename = "access"/>

</LogObject>


<LogFormat>

     <Name = "atslog"/>

     <Format = "%<cquuh> %<chi> %<cqtq> %<crc> [%<cqtn>] \"%<cqhm> /%<cqup> %<cqhv>\" %<pssc> %<psql> \"%<{Referer}cqh>\" \"%<caun>\" \"%<{Cookie}cqh>\" \"%<{User-Agent}cqh>\" %<cqhv> %<cqbl> %<sts> "/>

</LogFormat>

<LogObject>

     <Format = "atslog"/>

     <Filename = "atslog"/>

</LogObject>


4.此处定义了两种日志格式,access.log和atslog.log

  这个是access.log日志:

192.168.199.108 - [19/Jun/2015:16:39:49 +0800] "GET http://www.test100.com/test2.html TCP/HTTP/1.1" 200 539 "-" "curl/7.19.7 (x86_64-unknown-linux-gnu) libcurl/7.19.7 NSS/3.12.7.0 zlib/1.2.3 libidn/1.18 libssh2/1.2.2" "TCP_MEM_HIT" "-" "-"

192.168.199.108 - [19/Jun/2015:16:40:01 +0800] "GET http://www.test100.com/test2.html TCP/HTTP/1.0" 200 540 "-" "Wget/1.12 (linux-gnu)" "TCP_MEM_HIT" "-" "-"


这个是atslog.log日志

www.test100.com 192.168.199.108 1434703188.161 TCP_HIT [19/Jun/2015:16:39:48 +0800] "GET /test2.html HTTP/1.1" 200 539 "-" "-" "-" "curl/7.19.7 (x86_64-unknown-linux-gnu) libcurl/7.19.7 NSS/3.12.7.0 zlib/1.2.3 libidn/1.18 libssh2/1.2.2" HTTP/1.1 0 0

www.test100.com 192.168.199.108 1434703189.840 TCP_MEM_HIT [19/Jun/2015:16:39:49 +0800] "GET /test2.html HTTP/1.1" 200 539 "-" "-" "-" "curl/7.19.7 (x86_64-unknown-linux-gnu) libcurl/7.19.7 NSS/3.12.7.0 zlib/1.2.3 libidn/1.18 libssh2/1.2.2" HTTP/1.1 0 0






ATS自定义日志中的各字段解读

线上日志格式定义如下 % % % [%] % \"%\" % \"%\" %:% % \"%\" %"/> 实例如下: 1432009055.773 11611 200 [12:17:35] 211...
  • tao_627
  • tao_627
  • 2015年05月19日 14:41
  • 1216

ATS日志格式中的Squid-和Netscape-格式的缓存结果码

在ATS日志中我们经常遇到形形色色的缓存结果码,为了更清晰地认识它们,我将官网的相关资料整理到这里: 下面的表描述了Squid和Netscape日志文件中的缓存结果码: TCP_HIT 请求对象的一份...
  • tao_627
  • tao_627
  • 2015年07月02日 08:32
  • 1503

ATS 5.3.0日志字段分析(续)

自定义日志域Custom Logging Fields 下面的字段描述了ATS支持的自定义日志域 {HTTP header field name}cqh {HTTP header field name...
  • tao_627
  • tao_627
  • 2015年08月27日 15:51
  • 1009

ATS 5.3.0中自定义日志格式文件logs_xml.config解读

缘起 近来因为公司项目需要,阅读了一部分ATS logging system的源码实现,越发觉得logs_xml.config文件的配置非常重要,而我目前只是实践了一点它的皮毛。为此,根据自己的理解,...
  • tao_627
  • tao_627
  • 2015年08月31日 14:41
  • 1597

调整ATS日志处理机制及相关脚本

在ATS的尝试使用中,日志处理是很重要的一环,我在研究这个时候花了不少精力,首先我们测试用的ATS是5.3.2版本,默认打印的是二进制日志squid.blog,一天一切割,当然也可以变为文本日志,不过...
  • u010954257
  • u010954257
  • 2017年01月07日 21:18
  • 281

ATS线上报告个别日志过大无法写入问题的解决方法

访问日志是分析CDN线上问题的重要参考依据,但是我们在实际运维中发现很多部署点日志记录出现一些小问题,会造成相应的日志条目丢失。我们发现线上一些服务器上时常会报告如下问题: diags.log中经常报...
  • tao_627
  • tao_627
  • 2015年04月29日 11:02
  • 774

log4j自定义分级过滤日志

陆小凤一笑 2017-05-02 02:04 1.StormLog代码如下 import org.apache.log4j.Level; import org.apache.log4j....
  • u011277123
  • u011277123
  • 2017年05月02日 13:01
  • 651

基于slf4j的日志过滤

最近同事提了一个需求过来,他觉得项目对于第三方日志记录的太多了,只想记录一些业务相关的日志减少对于框架日志的显示。 具体要求就是对于框架日志只显示warn等级以上的,而业务日志显示info等级以上的...
  • qq_25187981
  • qq_25187981
  • 2017年07月23日 18:21
  • 189

CDN缓存服务器现状,squid、nginx、trafficserver、ATS性能测试

今天谈一个问题,目前cache软件在业界的使用现状。cache系统其实最大的使用场景,还是主要集中在CDN厂商里。 大概在2010年之前,各大CDN厂商基本清一色的使用squid。那...
  • charleslei
  • charleslei
  • 2016年03月13日 20:26
  • 4179

Linux日志文件内容过滤和日志文件排序

从去年10月底进入网络中心到现在,刚好整整一年。去年,受老师和武哥提携,有幸进入校网络中心,刚进去那时就懂点超简单的Linux命令,那天武哥做数据库清查,看着他在控制台下一条条命令敲出去,然后ssh终...
  • hzylmf
  • hzylmf
  • 2013年10月30日 21:45
  • 4541
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:ats日志过滤
举报原因:
原因补充:

(最多只允许输入30个字)