![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
canofy
这个作者很懒,什么都没留下…
展开
-
nginx中文翻译: location 指令
本文章转自:http://www.linuxtone.org/thread-1069-1-1.html location syntax: location [=|~|~*|^~] /uri/ { … } 语法:location [=|~|~*|^~] /uri/ { … } default: no 默认:否 context: server 上下文:server ...原创 2009-03-05 15:56:55 · 154 阅读 · 0 评论 -
统计系统五----日志解析二
解析日志的第二个shell文件(stat_hour.sh),主要是把下载,解析放到一起,然后执行存储过程 是按小时进行统计,若要按天进行统计,若还是小时的日志,则只需更改存储过程那个地方,让存储过程一天只执行一次;若日志是按天生成的,则把传进来的时间参数改为按天的就行。 不管哪一种都需要更改存储过程,需要把基础数据导入到正式数据的语句改成按天的。 [code="python"] ...2009-05-21 14:47:33 · 73 阅读 · 0 评论 -
统计系统六----日志解析三awk脚本
这里是解析日志用的两个awk脚本, list_pv.awk [code="python"] BEGIN{ FS="\t"; OFS="\t"; } { # date pid cid sid posid aid split($6,aids,","); #print $1 for(i in aids){ ke...2009-05-21 14:54:26 · 88 阅读 · 0 评论 -
统计系统七----主要执行的shell文件
这里是执行整个系统的主文件 stat_main.sh 下载,解析入库,最后执行存储过程 附件为整个代码,包括配置文件,目录等 [code="python"] . comm_function.sh work_path=`getWorkPath` #获取配置文件的路径 config_address=$work_path"/config"; comm_config_file=$...2009-05-21 14:58:09 · 85 阅读 · 0 评论 -
统计系统八---说明
统计系统---说明 这里的日志是使用log4j生成的,按指定的格式生成日志,既一条记录的各个字段使用一个tab建隔开,主要是为了解析的时候方便 这里的统计使用shell来下载解压缩日志和报警,使用awk来进行解析日志,使用存储过程来进行数据的处理 (下一个统计使用java来实现,使用的是access日志) 1.4亿的pv日志在据说是10分钟用awk就能解析完毕,还没有验证,因为相当...2009-05-22 18:13:47 · 110 阅读 · 0 评论 -
找访问日志中404的url地址
查找服务器上访问日志中出现了404的记录,并把地址替换成web可访问的方式,最后并发送邮件 重点: 这里主要应用了sed的正则表达式来进行查找替换,也用到了分组 发送邮件使用了email命令(mail命令貌似被禁了,发不出邮件,email命令应该需要装个什么东东吧,反正是在线下的服务器上没看到这个命令)进行发送,这个网上介绍的似乎很少, 用公司的邮箱发送不出去,到最后问了系统的管理员才...2009-05-25 18:29:29 · 515 阅读 · 0 评论 -
统计系统---源码下载
经过一周的修改,终于把各个部分分离开了,达到各个部分基本上可以独自运行的目的,解决一些耦合的东东。 下载,解压缩,检测解压缩的文件(含有报警),解析文件,入库,检测入库(报警),执行存储过程生成一级数据。 分为以上这几个步骤。 具体的见附件~~~ 这里没有删除解压缩的文件,需要另外写脚本定时删除,否则积累到一定的时间之后,磁盘空间会被占满,最后导致统计失败~~...2009-06-05 17:24:40 · 115 阅读 · 0 评论 -
scp命令
scp是有Security的文件copy,基于ssh登录。操作起来比较方便,比如要把当前一个文件copy到远程另外一台主机上,可以如下命令。 [code="java"] scp /usr/local/adtools.tar root@192.168.0.*:/usr/local/qs/ [/code] 然后会提示你输入另外62的root用户的登录密码,接着就开始copy了。 ...原创 2008-12-09 15:23:53 · 106 阅读 · 0 评论 -
shell多行注释
[code="python"] :原创 2009-06-09 10:37:50 · 84 阅读 · 0 评论 -
统计改进
采用技术:shell+awk+mysql+存储过程 主目录:/usr/local/yicha/adtools/stat_node/ awk目录:各种awk脚本,主要是对日志做一些合并的处理 config目录:shell脚本的配置文件目录 error目录:shell脚本的某个环节出错后提示的错误文件放在此目录 shell目录:shell脚本放在此目录里面 shell脚本介绍: ...2009-07-29 17:03:49 · 84 阅读 · 0 评论 -
把数据转换成sql(awk实现)
把数据转换成sql语句,主要用户移植数据库的时候使用,或批量插入数据的时候使用 方法如下(数据格式的分隔符为tab): 1.用ultraedit编辑器最简单,只需简单的替换就行了,^t替换为',',^p替换为')^p,列模式下在每行的开始处输入insert .... (' . 2.用脚本实现,如sed,awk等命令,在linxu下使用脚本前先使用dos2unix命令把数据的文本文件转换一下,...原创 2009-02-18 12:40:59 · 404 阅读 · 0 评论 -
在linux下重启tomcat的脚本
第一种脚本: [code="java"] #/bin/sh java=$(ps -aux |grep java |sed -n '1p' |awk '{print $2}'); kill -9 $java; rm /usr/local/tomcat-5.0.28/logs/catalina.* -rf rm /usr/local/tomcat-5.0.28/work/Catalina...原创 2009-02-18 13:00:13 · 88 阅读 · 0 评论 -
linux下的一些解压命令
转载:http://alex09.iteye.com/blog/647128 .tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar DirName (注:tar是打包,不是压缩!) ——————————————— .gz 解压 1:gunzip FileName.gz 解压2:gz...原创 2010-07-30 15:50:29 · 99 阅读 · 0 评论 -
llinux的ip设置
参考地址:http://www.cppblog.com/whncpp/archive/2008/09/18/62219.html linux的网卡IP地址是存放在文件中的,这个配置文件在/etc/sysconfig/network-scripts下,名称分别为ifcfg-eth0,ifcfg-eth1....如果有一块网卡,就只有ifcfg-eth0一个文件,如果有两块或者两块以上的网卡,...原创 2010-09-06 10:07:02 · 239 阅读 · 0 评论 -
screen常用键
screen的安装 yum install screen 常用的键有: C-a ? 显示所有键绑定信息 C-a w 显示所有窗口列表 C-a C-a 切换到之前显示的窗口 C-a c 创建一个新的运行shell的窗口并切换到该窗口 C-a n 切换到下一个窗口 C-a p 切换到前一个窗口(与C-a n相对) C-a 0..9 切换到窗口0..9 C-a a 发送 C-a...原创 2011-03-31 16:28:48 · 130 阅读 · 0 评论 -
统计系统四----日志解析一
解析日志的shell文件(phase_log.sh) [code="python"] . comm_function.sh #工作目录 work_path=`getWorkPath` work_log=$work_path"/log/work.log" error_log=$work_path"/log/error.log" phase_error_log=$work_path"...2009-05-21 14:36:27 · 85 阅读 · 0 评论 -
统计系统三----日志下载续
日志下载,减少一些参数 一下是源码: [code="python"] #!/bin/sh #调用方法:./down_log.sh pv 2009-05-13-10 #第一个参数为下载日志的类型 第二个参数为下载的时间 #注意日志下载的类型需要在配置文件里进行配置相应的日志名称,日志解压缩后的名称,日志保存路径,日志下载url的配置文件路径 . comm_function.sh ...2009-05-18 16:54:29 · 75 阅读 · 0 评论 -
统计系统二-----日志下载
这是下载的shell脚本,需要配置文件,之后会慢慢介绍 一下是源码 [code="python"] . comm_function.sh #工作目录 work_path=`getWorkPath` #下载的时间,默认为上一个小时 lasthour=`date --date="1 hour ago" +%Y-%m-%d-%H`; #获取配置文件的路径 config_a...2009-05-18 16:52:01 · 88 阅读 · 0 评论 -
nginx虚拟主机配置及负载均衡示例
地址:http://wiki.codemongers.com/NginxChsFullExample 两个虚拟主机(纯静态-html 支持) - Two Virtual Hosts, Serving Static Files http { server { listen 80; server_name www.do...原创 2009-03-05 16:14:07 · 173 阅读 · 0 评论 -
shell中的判断
摘自linux系统中的man test 命令. 主要用于shell中的if判断,有字符串判断是否相等,表达式是否为true,可以进行and或者是or的条件进行判断,可以判断字符串的长度是否为0,判断两个数字的大小,判断文件是否存在,判断文件的大小是否不为0等等。 如下: [code="python"] EXPRESSION is true or false and sets exit s...原创 2009-03-18 15:54:28 · 451 阅读 · 0 评论 -
关于shell函数的总结
关于shell函数的总结 1.函数的写法: methodName(){ .... } 如: # 获取当前时间,如:2009-01-01 00:00:00 getCurrentTime() { current_time=`date --date="now" +%Y-%m-%d' '%H:%M:%S`; echo $current_time; } 2.函数返...原创 2009-03-18 18:22:37 · 216 阅读 · 0 评论 -
shell基本语法
转载地址:http://wiki.ubuntu.org.cn/Shell%E7%BC%96%E7%A8%8B%E5%9F%BA%E7%A1%80 我们可以使用任意一种文字编辑器,比如nedit、kedit、emacs、vi等来编写shell脚本,它必须以如下行开始(必须放在文件的第一行): # !/bin/sh ... 符号#!用来告诉系统执行该脚本的程序,本例使用...原创 2009-03-23 09:12:23 · 91 阅读 · 0 评论 -
awk编程
14. awk编程 14.1. 变量 * 在awk中,变量不需要定义就可以直接使用,变量类型可以是数字或字符串。 * 赋值格式:Variable = expression,如$ awk '$1 ~/test/{count = $2 + $3; print count}' test,上式的作用是,awk先扫描第一个域,一旦test匹配,就...原创 2008-08-26 21:11:56 · 145 阅读 · 0 评论 -
awk编程
1. awk简介 awk 是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk的处理文本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进...原创 2008-08-26 21:46:07 · 81 阅读 · 0 评论 -
一个shell中的异常处理方法
以例子开始: test.sh [code="python"] wget -t2 http://192.168.1.55/unionfee/a.zip echo $? [/code] a1.zip不存在,因此wget会出错, 而"echo $?"打印出来是1 [code="python"] wget -t2 http://192.168.1.55/unionfee/b.zip ...原创 2009-04-02 18:40:16 · 474 阅读 · 0 评论 -
shell下载日志文件的脚本
用shell写的下载文件,某些地方还不是很完善 首先是下载的配置文件,主要是配置ip地址以及下载地址, 配置ip地址的下载路径为固定的,下载到本地会保存到该ip地址的目录下。 而普通的下载路径下载的文件会保存在当前目录下。 [code="python"] 218.1.1.1 http://www.canofy.com/test/localhost_access_log.2009-0...原创 2009-04-03 18:13:15 · 499 阅读 · 0 评论 -
shell的发送邮件
shell中的发送邮件,可以做报警用 发送邮件的配置文件(mail.conf): [code="python"] cbd2003@163.com abc2003@gmail.com [/code] 发送邮件的主程序: [code="python"] #发送邮件shell脚本,必须传入两个参数,第一个为标题,第二个为邮件内容, #必须要有mail.conf文件,里面是邮件列...原创 2009-04-03 18:19:40 · 275 阅读 · 0 评论 -
统计log中的数据
日志格式(log)(使用的log4j记录的日志,分隔符使用的是一个tab,注意日期的时间与小时那里是一个空格,第一列为时间;第二列为id,为某一个唯一标识,第三列为ip,第四列后面的可以不用考虑): [code="python"] 2009-04-05 12:00:02 0572 218.200.247.111 2009-04-05 12:00:02 0571 218.207.21...2009-04-07 15:55:43 · 391 阅读 · 0 评论 -
shell判断文件是否存在
[code="java"] shell判断文件,目录是否存在或者具有权限 #!/bin/sh myPath="/var/log/httpd/" myFile="/var /log/httpd/access.log" #这里的-x 参数判断$myPath是否存在并且是否具有可执行权限 if [ ! -x "$myPath"]; then mkdir "$myPath" f...原创 2008-10-13 16:00:23 · 143 阅读 · 0 评论 -
awk的一个实例
[code="java"] BEGIN{ FS=" "; RS="\n"; OFS"\t"; ORS="\n"; } { if($7~/ad\/st.jsp/){ #key=$7 key=substr($7,match($7,"at=")+3,match($7,"&")-match($7,"at=")-32008-10-13 17:03:39 · 78 阅读 · 0 评论 -
ubuntu中文输入法安装
下面是步骤: 1).终端输入:sudo apt-get remove scim 这一步是删除安装系统的时候装的那个scim,实际是个假的,我这里不可以用 2)sudo apt-get install scim 这一步下载安装scim输入法。下载完了系统会自己装上,中间会有提示,直接y就行了 3)sudo apt-get install scim-chinese ...原创 2008-11-22 20:26:00 · 91 阅读 · 0 评论 -
统计系统一-----用shell写的一些函数
用shell写的一些函数 属于统计系统的一部分,之后会慢慢写出来其它的部分 [code="python"] #获取当前时间 getCurrentTime(){ current_time=`date --date="now" +%Y-%m-%d' '%H:%M:%S`; echo $current_time; } #时间格式的转换 #如:2009-05-14 1...2009-05-15 19:02:27 · 83 阅读 · 0 评论 -
srilm安装
转:http://www.cnblogs.com/tongyan/p/3214577.html 1.下载http://www.speech.sri.com/projects/srilm/download.html 2.解压:tar zxvf srilm.tar.gz 3.修改 Makefile 文件(SRILM 目录下) 找到: ...原创 2014-10-15 11:01:27 · 248 阅读 · 0 评论