分析rails日志，计算响应率

最新推荐文章于 2022-05-10 20:44:30 发布
最新推荐文章于 2022-05-10 20:44:30 发布
阅读量996 收藏
点赞数
分类专栏： 日志分析 文章标签： log rails 日志分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shiralwz/article/details/48031285
版权 
chmod +x analyse_log copy_log

 

（1）拷贝脚本到本地

脚本内容如下：

#!/usr/bin/env bash

LOG_PATH=/opt/logs
LOCAL_LOG_PATH=~/Documents/logs/8-15
PROJECTS=(m-cms-for-tudou-tv m-cms-for-tv)

if [[ $1 == "--debug" ]]; then
  set -x
fi

# Create local directories
for project in ${projects[@]}; do
  mkdir -p $SAVE_TO/$project
done

# Copy m-cms-for-tv
project=m-cms-for-tv
remote_log_dir=$LOG_PATH/$project

for server in {13..15}; do
  for port in {5200..5207}; do
    server_ip="10.xxx.32.$server"
    local_log_dir=$LOCAL_LOG_PATH/$project/$server_ip
    log_file="thin server (0.0.0.0:$port)_2015-08-15.log"

    if [[ ! -e $local_log_dir/"$log_file" ]]; then
      mkdir -p $local_log_dir
      scp $server_ip:$remote_log_dir/"'$log_file'" $local_log_dir/$port.log
    fi
  done
done

# Copy m-cms-for-todou-tv
project=m-cms-for-tudou-tv
remote_log_dir=$LOG_PATH/$project

for server in {13..15}; do
  for port in {3201..3208}; do
    server_ip="10.xxx.32.$server"
    local_log_dir=$LOCAL_LOG_PATH/$project/$server_ip
    log_file="thin server (0.0.0.0:$port)_2015-08-15.log"

    if [[ ! -e $local_log_dir/"$log_file" ]]; then
      mkdir -p $local_log_dir
      scp $server_ip:$remote_log_dir/"'$log_file'" $local_log_dir/$port.log
    fi
  done
done

project=ott-client-cms
remote_log_dir=/opt/app/ruby/$project/current/log

for server in {13..15}; do
  server_ip="10.xxx.32.$server"
  local_log_dir=$LOCAL_LOG_PATH/$project/$server_ip
  log_file="nginx.access.20150815.log"

  if [[ ! -e $local_log_dir/"$log_file" ]]; then
    mkdir -p $local_log_dir
    scp $server_ip:$remote_log_dir/$log_file $local_log_dir/$log_file
  fi
done

执行：

$./copy_log

执行后拷贝的日志如下

thin server (0.0.0.0:5200)_2015-08-15.log                                                                           100%   37MB   4.1MB/s   00:09    
thin server (0.0.0.0:5201)_2015-08-15.log                                                                           100%   37MB   4.6MB/s   00:08    
thin server (0.0.0.0:5202)_2015-08-15.log                                                                           100%   37MB   4.6MB/s   00:08    
thin server (0.0.0.0:5203)_2015-08-15.log                                                                           100%   37MB   3.7MB/s   00:10    
thin server (0.0.0.0:5204)_2015-08-15.log                                                                           100%   37MB   4.6MB/s   00:08    
thin server (0.0.0.0:5205)_2015-08-15.log                                                                           100%   37MB   4.6MB/s   00:08    
thin server (0.0.0.0:5206)_2015-08-15.log                                                                           100%   37MB   2.6MB/s   00:14    
thin server (0.0.0.0:5207)_2015-08-15.log                                                                           100%   37MB   3.7MB/s   00:10    
thin server (0.0.0.0:5200)_2015-08-15.log                                                                           100%   37MB   6.2MB/s   00:06    
thin server (0.0.0.0:5201)_2015-08-15.log                                                                           100%   37MB   4.1MB/s   00:09    
thin server (0.0.0.0:5202)_2015-08-15.log                                                                           100%   37MB   3.7MB/s   00:10    
thin server (0.0.0.0:5203)_2015-08-15.log                                                                           100%   37MB   3.1MB/s   00:12    
thin server (0.0.0.0:5204)_2015-08-15.log                                                                           100%   37MB   3.4MB/s   00:11    
thin server (0.0.0.0:5205)_2015-08-15.log                                                                           100%   37MB   3.4MB/s   00:11    
thin server (0.0.0.0:5206)_2015-08-15.log                                                                           100%   37MB   2.7MB/s   00:14    
thin server (0.0.0.0:5207)_2015-08-15.log                                                                           100%   37MB   2.7MB/s   00:14    
thin server (0.0.0.0:5200)_2015-08-15.log                                                                           100%   37MB   3.4MB/s   00:11    
thin server (0.0.0.0:5201)_2015-08-15.log                                                                           100%   37MB   4.6MB/s   00:08    
thin server (0.0.0.0:5202)_2015-08-15.log                                                                           100%   37MB   4.6MB/s   00:08    
thin server (0.0.0.0:5203)_2015-08-15.log                                                                           100%   37MB   6.2MB/s   00:06    
thin server (0.0.0.0:5204)_2015-08-15.log                                                                           100%   37MB   3.1MB/s   00:12    
thin server (0.0.0.0:5205)_2015-08-15.log                                                                           100%   37MB   3.4MB/s   00:11    
thin server (0.0.0.0:5206)_2015-08-15.log                                                                           100%   37MB   4.7MB/s   00:08    
thin server (0.0.0.0:5207)_2015-08-15.log                                                                           100%   37MB   3.7MB/s   00:10    
thin server (0.0.0.0:3201)_2015-08-15.log                                                                           100%   64KB  63.7KB/s   00:00    
thin server (0.0.0.0:3202)_2015-08-15.log                                                                           100%   63KB  63.2KB/s   00:00    
thin server (0.0.0.0:3203)_2015-08-15.log                                                                           100%   69KB  68.9KB/s   00:00    
thin server (0.0.0.0:3204)_2015-08-15.log                                                                           100%   67KB  66.9KB/s   00:00    
thin server (0.0.0.0:3205)_2015-08-15.log                                                                           100%   55KB  55.5KB/s   00:00    
thin server (0.0.0.0:3206)_2015-08-15.log                                                                           100%   63KB  63.0KB/s   00:00    
thin server (0.0.0.0:3207)_2015-08-15.log                                                                           100%   57KB  56.7KB/s   00:00    
thin server (0.0.0.0:3208)_2015-08-15.log                                                                           100%   60KB  60.4KB/s   00:00    
scp: /opt/logs/m-cms-for-tudou-tv/thin server (0.0.0.0:3201)_2015-08-15.log: No such file or directory
thin server (0.0.0.0:3202)_2015-08-15.log                                                                           100%   51KB  50.7KB/s   00:00    
thin server (0.0.0.0:3203)_2015-08-15.log                                                                           100%   51KB  50.6KB/s   00:00    
thin server (0.0.0.0:3204)_2015-08-15.log                                                                           100%   52KB  52.5KB/s   00:00    
thin server (0.0.0.0:3205)_2015-08-15.log                                                                           100%   52KB  52.0KB/s   00:00    
thin server (0.0.0.0:3206)_2015-08-15.log                                                                           100%   49KB  49.1KB/s   00:00    
thin server (0.0.0.0:3207)_2015-08-15.log                                                                           100%   52KB  52.3KB/s   00:00    
thin server (0.0.0.0:3208)_2015-08-15.log                                                                           100%   52KB  52.4KB/s   00:00    
thin server (0.0.0.0:3201)_2015-08-15.log                                                                           100%   45KB  44.9KB/s   00:00    
thin server (0.0.0.0:3202)_2015-08-15.log                                                                           100%   44KB  43.7KB/s   00:00    
thin server (0.0.0.0:3203)_2015-08-15.log                                                                           100%   46KB  45.6KB/s   00:00    
thin server (0.0.0.0:3204)_2015-08-15.log                                                                           100%   46KB  46.1KB/s   00:00    
thin server (0.0.0.0:3205)_2015-08-15.log                                                                           100%   43KB  43.4KB/s   00:00    
thin server (0.0.0.0:3206)_2015-08-15.log                                                                           100%   46KB  45.7KB/s   00:00    
thin server (0.0.0.0:3207)_2015-08-15.log                                                                           100%   44KB  44.5KB/s   00:00    
thin server (0.0.0.0:3208)_2015-08-15.log                                                                           100%   44KB  43.6KB/s   00:00    
nginx.access.20150815.log                                                                                           100%   81MB   4.3MB/s   00:19    
nginx.access.20150815.log                                                                                           100%   81MB   4.1MB/s   00:20    
nginx.access.20150815.log                                                                                           100%   81MB   2.7MB/s   00:30

 

 

(2)分析日志

分析日志的脚本如下：

#!/usr/bin/env bash

if [[ $1 == "--debug" ]]; then
  set -x
fi

LOG_PATH=~/Documents/logs/8-15
TMP_FILE=/tmp/analyse_cat.log

tv() {
  project=$1
  log_files=$LOG_PATH/$project/**/*.log

  for hour in {15..16}; do
    for min in {0..5}; do
      if [[ $hour -lt 10  ]]; then
        str="2015-08-15 0$hour:$min"
      else
        str="2015-08-15 $hour:$min"
      fi  

      request_count=$(grep "$str" $log_files | wc -l)
      response_count=$(grep "^$hour:$min" $log_files | grep Completed | wc -l)
      grep "^$hour:$min" $log_files | grep Completed > $TMP_FILE

      echo "------- $str 时总请求数: $request_count，响应数：$response_count"
      echo '响应码：'
      cut -d ' ' -f4 $TMP_FILE | sort -n | uniq -c
      # echo '响应时间：'
      # cut -d ' ' -f7 $TMP_FILE | sort -n | uniq -c | sort -nr
    done
  done
}

echo '*** Youku TV ***'
tv m-cms-for-tv

echo '*** Tubou TV ***'
tv m-cms-for-tudou-tv

执行

$ ./analyse_log

执行后的结果

~/Desktop:$ ./analyse_log 
*** Youku TV ***
------- 2015-08-15 15:0 时总请求数: 10934，响应数：10934
响应码：
  10934 200
------- 2015-08-15 15:1 时总请求数: 10908，响应数：10908
响应码：
  10908 200
------- 2015-08-15 15:2 时总请求数: 10903，响应数：10903
响应码：
  10903 200
------- 2015-08-15 15:3 时总请求数: 7184，响应数：7160
响应码：
   7160 200
------- 2015-08-15 15:4 时总请求数: 552，响应数：0
响应码：
------- 2015-08-15 15:5 时总请求数: 194063，响应数：193978
响应码：
 193978 200
------- 2015-08-15 16:0 时总请求数: 142234，响应数：142233
响应码：
 142233 200
------- 2015-08-15 16:1 时总请求数: 195244，响应数：195244
响应码：
 195244 200
------- 2015-08-15 16:2 时总请求数: 233320，响应数：233342
响应码：
 233342 200
------- 2015-08-15 16:3 时总请求数: 12787，响应数：12788
响应码：
  12788 200
------- 2015-08-15 16:4 时总请求数: 11341，响应数：11341
响应码：
  11341 200
------- 2015-08-15 16:5 时总请求数: 12470，响应数：12470
响应码：
  12470 200
*** Tubou TV ***
------- 2015-08-15 15:0 时总请求数: 5，响应数：5
响应码：
      5 200
------- 2015-08-15 15:1 时总请求数: 3，响应数：3
响应码：
      3 200
------- 2015-08-15 15:2 时总请求数: 39，响应数：39
响应码：
     39 200
------- 2015-08-15 15:3 时总请求数: 11，响应数：3
响应码：
      3 200
------- 2015-08-15 15:4 时总请求数: 31，响应数：0
响应码：
------- 2015-08-15 15:5 时总请求数: 1315，响应数：1288
响应码：
   1288 200
------- 2015-08-15 16:0 时总请求数: 9，响应数：9
响应码：
      9 200
------- 2015-08-15 16:1 时总请求数: 2，响应数：2
响应码：
      2 200
------- 2015-08-15 16:2 时总请求数: 39，响应数：39
响应码：
     39 200
------- 2015-08-15 16:3 时总请求数: 10，响应数：10
响应码：
     10 200
------- 2015-08-15 16:4 时总请求数: 2，响应数：2
响应码：
      2 200
------- 2015-08-15 16:5 时总请求数: 15，响应数：15
响应码：
     15 200

 

冰凌花花
关注
专栏目录
走向云计算之Hadoop实际应用网站日志分析
想作会飞的鱼的博客
06-20 3559
一、概述网站日志分析是Hadoop应用的一个方向。那么什么是网站日志呢? 网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾文件。通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功。对于SEO优化人员来说，日志就是我们网站优化的指南针，就是我们优化的晴雨表，能够通过分析日志能
ELK日志采集分析
热门推荐
Ongwu Keep going
08-26 1万+
一. ELKStack简介 ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELKStack具有如下几个...
log_analyzer：Rails日志分析器（查看视图呈现的速度）
02-05
LogAnalyzer 查看Ruby on Rails应用程序中渲染的速度。 基于日志信息。 提供有关渲染频率和渲染速度的图片。 样品 您可以看到以下列： 类型-文件类型（部分或视图= P或V） 视图-视图名称 计数-渲染数 平均-渲染的平均时间（以毫秒为单位） Max-最长渲染时间 Min-最短渲染时间 安装 可以独立安装（不添加到Gemfile中）。 将此行添加到您的应用程序的Gemfile中： gem 'log_analyzer' 然后执行： $ bundle 或将其自己安装为： $ gem install log_analyzer 用法 安装后，在控制台命令log_
Rails日志分析工具
wrymax的博客
03-06 250
工具名：request-log-analyzer 安装方法：$ gem install request-log-analyzer 使用方法：$ request-log-analyzer cms_production_2013-02-17.log --format rails3 --output HTML --file report-for-cms-logs.html 会生成一个非常漂亮...
响应率与普及率如何计算
m0_37228052的博客
12-31 6514
一、应用背景 当研究问卷中涉及多选题，可能会涉及以下四类分析即：多选题单独分析，单选题和多选题交叉；多选题和单选题交叉；多选题和多选题交叉；SPSSAU分别称其为：多选、单多、多单和多多分析。 二、操作 1.SPSSAU操作如下图： 2.SPSSAU中多选题的数据格式类似如下 3.将数据放入分析框中，SPSSAU自动生成分析结果如下： 三、分析 结果解读以及计算公式： 1.响应率 响应率用于对比各个选项的相对选择比例情况，例：5/24=20.83％； 2.普及率 普及率用.
Rails日志分析-将日志导出为csv
z2009zxiaolong的专栏
10-06 234
众所周知，Rails的日志文件是文本类型的，如果要对日志文件进行分析时，比如延迟分析，不能像看图表一样直观。 我们可以先将日志文件转换为excel格式的xls、csv文件，然后转换成图表格式。   #encoding:utf-8 require "csv.rb" log_file_path = "production.log" # csv_file_path = log_file...
Rails性能调优策略与工具详解
4. 基准测试工具：推荐使用Rails自带的日志文件（当debug级别至少设置为Logger::DEBUG），以及额外的第三方工具来评估性能，如通过Benchmark类进行代码片段的性能比较。 通过对这些内容的学习，读者将能更好地理解...
使用Ruby on Rails进行性能优化
Ruby on Rails（简称Rails）是一种流行的开源Web应用程序框架，它基于Ruby编程语言。Rails提供了一种灵活而强大的开发方式，可以帮助开发人员快速构建高效的Web应用程序。其开发理念包括“约定大于配置”和“不重复...
深入理解Rails中的缓存优化
通过合理的缓存策略，可以有效减少页面渲染时间，并降低系统的响应时间。 ```ruby # 示例代码 # 在Rails中使用页面缓存 class ArticlesController # 缓存页面，有效期为5分钟 caches_page :show, :expires_in =>...
Ruby-Rails日志分析器查看您的视图渲染的速度
08-15
了解您的Ruby on Rails应用程序渲染速度有多快。 基于来自日志的信息。 为您提供渲染频率以及渲染视图的速度。
rails的log分析工具
wanjichun的专栏
11-10 1665
 wvanbergen-request-log-analyzer (0.1.2) http://github.com/wvanbergen/request-log-analyzer/tree/master# Request log analyzer--------------------------------This is a simple command l
数仓客服响应率如何计算
abcde5566的博客
05-10 516
1、建立明细表，增加上一条和下一条是否是顾客的字段。 2、建立处理过得波峰波谷明细临时表 --已知客户第一次发起的是波峰，规划师响应的是波谷 --如果上一条是客户，当前这条是规划师，那么就是波谷, --如果上一条是规划师，当前这条是客户，那么就是波峰， --如果上一条是客户和规划师都是空，然后这条是客户，则是波峰 --如果上一条是客户和规划师都是空，然后这条是规划师，则是波谷 --如果是客户首发，则以最后一个结束的波谷来算...
Rails 调试和记录日志方法总结
weixin_33762130的博客
05-08 529
使用debug, ruby-debug, logger, rails console多种方法调试Rails程序的总结 1、使用debug方法 如果想在view中显示@product的信息，使用 <%= debug(@product)%> 会在网页源码中以YAML格式输出@product所有属性值 2、使用ruby-debug gem ...
Rails日志文件
dazhi_100的专栏
10-14 3657
rails的日志文件存在于app/log下面。对于不同环境产生的日志内容会有差别。development下会把每次对数据库的访问代码包含进去，production会省略，不过也有很多的内容。   在environment.rb中有 config.log_level =:debug 如果只希望在production环境下，输入少量的log,则只需要在config/environments
rails 切割日志 logrotate
Piao.It
02-27 230
# append to config\environment.rb #web访问日志 [code="java"]RAILS_DEFAULT_LOGGER = Logger.new("#{RAILS_ROOT}/log/#{RAILS_ENV}#{Date.today.to_s}.log", "daily") [/code] #sql日志 [code="java"]ActiveRe...
管理rails日志(logrotate、cron)
ruby 闲谈
03-27 240
学习网址： http://blog.csdn.net/iiisan/archive/2006/09/05/1180419.aspx 管理rails日志需要两个步骤，首先是使用logrotate工具配置被管理的日志的信息，这样做的目的是实行对日志的管理，其次，我们不可能手动执行logrotate工具，我们需要让系统自动执行这个工具，那么我们需要使用cron工具，该工具可以起到定时执行任务的作用...
查看 Rails 日志文件
89898
02-11 607
每个项目都有日志文件于 log/***.log,由于当前默认开发模式所有记录都在log/development.log中。 进入终端 在Linux/Os x 下： $ tail -f log/development windows系统没有内建tail命令，可以从 www.baremetalsoft.com/baretail下载 tail命令工具....
rails日志分割------- 借助logrotate
zlzdj的专栏
08-01 1478
使用ruby on rails开发的人都知道在系统默认情况下都会将日志文件写入到development.log文件中，会越来越大，不能按照日期方式来存储。但是我们可以借助linux自带的日志分割logrotate来实现日志存储功能，具体的实现方式如下: 在目录/etc/logrotate.d下新建一个ror文件，内容如下 /home/leo/ror/lo...
Ruby on Rails日志分析器：视图渲染速度监控
资源摘要信息:"Rails日志分析器是一个专门用于Ruby on Rails应用程序的工具，其主要功能是分析应用程序的日志文件以查看视图的渲染速度。这种分析对于优化应用程序的性能至关重要，因为它可以帮助开发者找出渲染速度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值