自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

最新推荐文章于 2021-03-03 10:37:05 发布
最新推荐文章于 2021-03-03 10:37:05 发布
阅读量5.5k 收藏
点赞数
分类专栏： squid 文章标签： linux unix ibm sybase dns服务器 服务器

原贴:http://bbs.chinaunix.net/viewthread.php?tid=538499&highlight=cnsnoopy&page=0&#pid4290654

 

自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

首页 » 论坛 » Proxy服务器 » 取消高亮
  •  
    •  
    <script type="text/javascript"> function fastreply(subject) { if($('postform')) { $('postform').subject.value = subject; $('postform').message.focus(); } } </script>
    取消高亮 ‹‹ 上一主题 | 下一主题 ››
    [打印] [订阅] [收藏] [推荐给朋友] [本帖文本页]
    cnsnoopy   帅哥
    侠客



    UID：62779
    注册：2003-6-11
    最后登录： 2007-02-05
    帖子： 34
    精华： 1

    可用积分：44
    信誉积分： 100
    专家积分： 0 (本版)

    来自：北京
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    1楼 发表于 2005-4-29 14:41 
    Rotating SQUID log with newsyslog

    Kenny Zhao, kunfirst.blogchina.com
    if you have any question, please feel free to send me a email:
    kfirst@gmail.com

    --------------------------------

    * Introduction:

    rorate squid log,and make sure its filename is automatically
    renamed as a date-based pattern,such as: access20050412.log.gz

    download newsyslog from http://www.eyrie.org/~eagle/software/newsyslog/

    BTW: newsyslog is an official recommendation to  replace rotatelog by SQUID.

    * Installation:

    1.Install newsyslog 1.6

    [Copy to clipboard] [ - ]
    CODE:
            ./configure
            make
            make install

    newsyslog should be installed into /usr/local/sbin/newsyslog

    2.Crate a new file: /usr/local/etc/newsyslog.conf, paste lines below:

    [Copy to clipboard] [ - ]
    CODE:
    set squid_logpath = /usr/local/squid/var/logs
    set squid_log = /usr/local/squid/var/logs/access.log
    set date_squid_log = /usr/local/squid/var/logs/access%Y%M%D.log

    SQUID{
            restart: run /usr/local/squid/sbin/squid -k rotate
            log:  SQUID squid_log squid squid 644
            archive: SQUID date_squid_log 0

    }

    3.run newsyslog in crontab,(example: run once 23:58 daily):

    [Copy to clipboard] [ - ]
    CODE:
    58      23      *       *       *       /usr/local/sbin/newsyslog




    您对本贴的看法：鲜花[0] 臭蛋[0]
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    版主 段誉   帅哥  爱心使者
    版主－法师



    UID：6544
    注册：2002-4-8
    最后登录： 2007-09-22
    帖子： 5595
    精华： 16

    可用积分：152
    信誉积分： 100
    专家积分： 0 (本版)

    来自：冰城—哈尔滨
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    2楼 发表于 2005-4-29 19:18 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    这是楼主自己写的程序？到是很不错的说。

    通常在linux平台下（俺D经验），直接用squid -k rotate就可以生成每天的日志，文件名格式为squid.log.x，x为0~90，这里的90是在squid.conf里面配置的——参数忘记了，回头补上来。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    垃圾北京！

    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    cnsnoopy   帅哥
    侠客



    UID：62779
    注册：2003-6-11
    最后登录： 2007-02-05
    帖子： 34
    精华： 1

    可用积分：44
    信誉积分： 100
    专家积分： 0 (本版)

    来自：北京
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    3楼 发表于 2005-5-1 15:15 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    squid -k rotate  生成的日志没有日期的文件名，从文件名很难看出是哪天的日志，难以管理。
    比如需要定时下载该日志，需要自动合并多台服务器上不同格式的日志等都会比较困难。

    对于需要日志分析的大中型网站来说，生成有规律的日志是有必要的，就像IIS那样。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    No Pain,No Gain

    互联网观察中心
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    joyaid   帅哥
    风云使者



    UID：113520
    注册：2003-11-20
    最后登录： 2007-09-11
    帖子： 441
    精华：0

    可用积分：93
    信誉积分： 100
    专家积分： 0 (本版)

    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    4楼 发表于 2005-5-1 22:00 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    很不错ing!!支持!!



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    Gman.

    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    Notepad   帅哥
    圣骑士



    UID：209496
    注册：2004-12-21
    最后登录： 2005-11-04
    帖子： 91
    精华：0

    可用积分：20
    信誉积分： 100
    专家积分： 0 (本版)

    状态：...保密...

    [资料] [站内短信] [Blog]


    顶部
    5楼 发表于 2005-5-5 19:36 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    筛选后导入到数据库不更好，我就导入PGSQL了

    [Copy to clipboard] [ - ]
    CODE:
    -[ RECORD 4 ]------------------------------------------------------------------
    al_servname | relay.cc
    al_timstamp | 2005-05-05 09:02:41
    al_outgolen | 199
    al_userhost | 10.36.7.7           
    al_tcpstats | TCP_MISS                     
    al_tcpstatn | 200
    al_incomlen | 1965
    al_httpmeth | GET      
    al_flushurl | http://unixpro.blogbus.com/images/cats.js
    al_username | jack                    
    al_lnkstatl | DIRECT
    al_lnkstata | 61.152.145.184
    al_mimetype | application/x-javascript




    您对本贴的看法：鲜花[0] 臭蛋[0]
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
    cnsnoopy   帅哥
    侠客



    UID：62779
    注册：2003-6-11
    最后登录： 2007-02-05
    帖子： 34
    精华： 1

    可用积分：44
    信誉积分： 100
    专家积分： 0 (本版)

    来自：北京
    状态： ...离线...

    [资料] [站内短信] [Blog]


    顶部
    6楼 发表于 2005-10-30 02:38 
    自动分割SQUID的日志，并每天生成一个日期格式文件名的日志

    比较大的网站每天的日志都是数个G，将其导入数据库中恐怕不是很好的解决办法，最好直接用日志分析工具将每天的日志进行分析再将结果导入到数据库中。



    您对本贴的看法：鲜花[0] 臭蛋[0]

    __________________________________

    No Pain,No Gain

    互联网观察中心
    UNIX平台操作风险管理解决方案 | 送Linux集群，十一长假精通Linux技术！ | 免费下载IBM社区版软件 | 安全新客站
     
    chinalinuxzend
    关注
    专栏目录
    可扩展Web架构与分布式系统
    科技D人生
    12-21 1611
    开放源代码已经成为一些大型网站的基本原则。而在这些网站成长的过程中，一些优秀的实践经验和规则也出现在他们的结构中。本文旨在介绍一些在大型网站结构设计的过程中需要注意的关键问题以及实现目标的基础工作。 本文侧重于介绍网络系统，尽管一些准则在其他分布式系统中也是适用的。 1.1. web分布式系统的设计原则 搭建和运营一个可伸缩的web站点或者应用程序意味着什么？在原始层面上这仅仅是
    最接地气的一套PHP面试题（总结不易，踩坑踩到挂了好多面试）
    浅糖博客
    05-17 1310
    1. 请自我介绍一下？ 答：自己会介绍自己吧，你好，我叫 LiuMucheng，从毕业后一直都在做 php 开发。。。 2. 你在公司负责那些项目？ 答：公司的项目都是交叉进行的，论坛，微信，商城我都做过 3. 你为什么来深圳？ 答：人往高处走 4. 使用过什么前端框架和后端框架？ 答：根据自己的回答 5. 你做过那些模块？ 答：登陆注册，商品管理，购物车模块，订单管理 6. 你们公司是使用什么框架？ 答：我们公司采用的是 TP 框架，运用的 mysql+apache+php 进行开发
    squid日志时间转换
    weixin_30952103的博客
    06-10 588
    squid日志时间是unix时间戳 不利于观看 python脚本进行转换 1 #!/usr/bin/env python 2 #2014-6-5 pdd 3 4 import re 5 import time 6 import sys 7 8 with open(sys.argv[1],'r') as f: 9 log = re.f...
    squid日志分割
    zyzn1425077119的博客
    01-23 1334
    参考：coolio 的BLOG，网址：http://coolio.blog.51cto.com/680971/1406148 squid日志有 access.log;客户端使用代理服务器的记录文件 store.log;存储缓冲对象的状态记录文件 cache.log;CACHE的启动以及各类状态的记录文件 1 日志备份： cp access.log access.
    squid日志格式处理
    weixin_33904756的博客
    03-05 374
    先看看squid原始文档怎么解释吧 # TAG: logformat # Usage: # # logformat <name> <format specification> # # Defines an access log format. # # The <format s...
    squid使用rotate轮询（分割）日志
    weixin_33881753的博客
    05-04 478
    squid启动后马上停止，其中原因是access.log文件超过2G大小，在32位系统中，如果access.log文件超过2G大小，squid会启动后自动关闭。 解决方法：1、首先清空现有的access.log日志文件： cp access.log access.log.bak #备份现有日志文件# cat /dev/null > ...
    运维面试题
    weixin_42690304的博客
    09-18 2万+
    运维面试题 NETWORK 1 请描述TCP/IP协议中主机与主机之间通信的三要素 参考答案 IP地址（IP address） 子网掩码（subnet mask） IP路由（IP router） 2 请描述IP地址的分类及每一类的范围 参考答案 A类1-26 B类128-191 C类192-223 D类224-239组播(多播) E类240-254科研 3 请描述A、B...
    尚硅谷 Linux系统管理教程 笔记
    LiuKairui的博客
    03-03 3210
    目录Linux简介Linux的安装虚拟机配置系统分区分区的形式分区类型分区格式化设备文件名挂载点Linux的安装SSH连接初学注意事项与WIndwos的区别Linux服务器管理Linux的目录结构远程服务器注意事项常用命令命令的基本格式目录操作命令文件操作命令文件与目录命令权限命令Linux的基本权限权限基本命令权限的基本作用umask默认权限帮助命令搜索命令管道符别名与快捷命令压缩与解压命令开关机命令网络命令系统痕迹命令挂载命令Vim编辑器软件包安装软件包的分类二进制包二进制RPM包命令RPM包的命名规则
    渗透测试高级面试题
    fzx_hsaj的博客
    02-13 1万+
    1 应用程序开发过程中，下面那些开发习惯可能导致安全漏洞？（） A 在程序代码中打印日志输出敏感信息方便调式 B 在使用数组前判断是否越界 C 在生成随机数前使用当前时间设置随机数种子 D 设置配置文件权限为rw-rw-rw- 答案：AD 解释： A 为日志包含敏感信息，容易泄露账号密码接口数据等信息，可能产生安全漏洞。 B 为数组大小问题，数组不越界，可防止溢出安全漏洞。因此是安全的。 C 用...
    squid日志参数详解
    weixin_34228387的博客
    01-12 593
    下列编码可能出现在access.log的第9域。请参考10.10节关于Squid如何对cache丢失情况，选择有效的下一跳。 NONE 这指明Squid对本次请求，不会与任何其他服务器（邻居或原始服务器）通信。它通常与cache命中、拒绝请求、cache管理请求、错误、和所有的ICP查询这些类型联合出现。 DIRECT Squid直接转发请求到原始服务器。该域的...
    Blogbus博客
    cnracht8153的博客
    02-25 285
    Blogbus博客链接:http://ggandmm.blogbus.com ...
    Squid日志时间的转变
    weixin_33809981的博客
    12-10 640
    最近在管理squid服务器的时候,有的时候会出现503错误,但是squid日志里面记录的时间都是根据标准时间计算后加上毫秒记录的,不便于查看,于是想了好久,加上客户询问的紧,想到了一个使用perl来转换的操作,现在把过程发出来共享: 假设: 日志文件为access.log 那么如果你是的squid服务器操作系统是win的话,使用记事本输入如下内容保存为...
    squid日志格式参数详解
    大爱无疆的博客
    07-31 1918
    在squid设置有日志格式设置 logformat squid %ts.%03tu %6tr %>a %Ss/%03Hs %<st %rm %ru %un %Sh/%<A %mt 参数解释如下 Field name syntax keys: {} modifier or argument. Also used to specify header names > re
    squid日志处理（天）
    zyzn1425077119的博客
    01-24 1597
    在在/usr/local/squid/sbin中执行./squid -k rotate命令进行轮询，依次为access.log、access.log.0 ~access.log.9 ，此时可以结束， 或者写shell脚本对access.log.0进行处理成日期的。 用crontab -e进行任务添加，详见博客其他篇章
    Squid 日志详解
    热门推荐
    孤剑之家
    01-19 3万+
    原文地址： http://www.php-oa.com/2008/01/17/squid-log-access-store.htmlaccess.log 日志在squid中access访问日志最为重要,位于/var/log/squid/access.log,Squid把关于HTTP响应的关键信息存放在access.log里。该文件是基于行的，也就是说每行对应一个客户端请求。 squid记录客户端I
    squid 日志清理
    weixin_34380296的博客
    09-10 234
    squid 日志清理 2008-12-02 13:17:07 　标签：日志 squid　　　 [推送到技术圈] 版权声明：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://6509...
    定时任务调用wget 在用户跟目录下生成很多日志文件。
    weixin_33690367的博客
    11-01 531
    先看定日任务： 1 2 3 4 crontab-l */10****wget/data>/home/wwwlog/data.log */10****wget/data1>/home/wwwlog/data1.log 过了半天后， 1 cd~ ...
    squid缓存系统全攻略
    dai451954706的专栏
    10-22 5007
    转自：http://blog.chinaunix.net/uid-16909016-id-120110.html 1.操作系统的选择 操作系统的版本为Red Hat AS4 update5版本。 系统选择最小安装。开启防火墙，防火墙开启ssh及www两项服务端口，在安装系统的时候关掉SELinux; 系统分区时创建三个交换分区，每个交换分区的大小为实际物理内存的2倍，三
    Squid日志解析：HTTP错误代码示例与FQDN详解
    Squid日志格式是一种用于记录和分析网络代理服务器 Squid 的活动的详细记录方式，它提供了关于客户端请求、服务器响应以及可能发生的错误的重要信息。在分析Squid日志时，理解各个字段的含义至关重要。 1. 时间戳：...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值