2009年05月_canofy

原创排序之合并排序(归并排序)

合并排序 [code="java"] package algorithm; /** * May 26, 2009 * version 1.1 * @author qinshuangping */ public class MergeSort { /** * 合并排序(也称归并排序) * 归并操作的工作原理如下(网上找的这个原理和这个例子似乎...

2009-05-26 17:46:54 114

原创排序方法之---堆排序

[code="java"] package algorithm; /** * May 26, 2009 * version 1.1 * @author qinshuangping */ public class HeapSorter { /** * 参考地址：http://blog.csdn.net/Tuzki/archive/2008/10/08...

2009-05-26 10:40:14 85

找访问日志中404的url地址

查找服务器上访问日志中出现了404的记录，并把地址替换成web可访问的方式，最后并发送邮件重点：这里主要应用了sed的正则表达式来进行查找替换，也用到了分组发送邮件使用了email命令(mail命令貌似被禁了，发不出邮件，email命令应该需要装个什么东东吧，反正是在线下的服务器上没看到这个命令)进行发送，这个网上介绍的似乎很少，用公司的邮箱发送不出去，到最后问了系统的管理员才...

2009-05-25 18:29:29 495

原创 Java的快速排序法

花了很久的时间才搞定，根据算法导论里面的伪代码写的最初在网上找的例子都有问题，不知为啥，都把我给搞晕了然后按伪代码来写，也出错，真是很郁闷然后全部删掉重新写了很多次，突然间就写好了主要难点在于partition函数，里面的i和j的关系，它们的值在什么时候进行交换可能是很久没有考虑过数据结构的东东了因此今天花了很多时间来做这个 [code="java"] packag...

2009-05-24 19:04:07 144

原创插入选择冒泡排序

[code="java"] package com.canofy.structure; import org.apache.log4j.Logger; public class Sort { static Logger logger=Logger.getLogger(Sort.class); //插入排序法 private static void insertSor...

2009-05-24 10:43:36 71

统计系统八---说明

统计系统---说明这里的日志是使用log4j生成的，按指定的格式生成日志，既一条记录的各个字段使用一个tab建隔开，主要是为了解析的时候方便这里的统计使用shell来下载解压缩日志和报警，使用awk来进行解析日志，使用存储过程来进行数据的处理（下一个统计使用java来实现，使用的是access日志） 1.4亿的pv日志在据说是10分钟用awk就能解析完毕，还没有验证，因为相当...

2009-05-22 18:13:47 102

统计系统七----主要执行的shell文件

这里是执行整个系统的主文件 stat_main.sh 下载，解析入库，最后执行存储过程附件为整个代码，包括配置文件，目录等 [code="python"] . comm_function.sh work_path=`getWorkPath` #获取配置文件的路径 config_address=$work_path"/config"; comm_config_file=$...

2009-05-21 14:58:09 79

统计系统六----日志解析三awk脚本

这里是解析日志用的两个awk脚本, list_pv.awk [code="python"] BEGIN{ FS="\t"; OFS="\t"; } { # date pid cid sid posid aid split($6,aids,","); #print $1 for(i in aids){ ke...

2009-05-21 14:54:26 84

统计系统五----日志解析二

解析日志的第二个shell文件(stat_hour.sh)，主要是把下载，解析放到一起，然后执行存储过程是按小时进行统计，若要按天进行统计，若还是小时的日志，则只需更改存储过程那个地方，让存储过程一天只执行一次；若日志是按天生成的，则把传进来的时间参数改为按天的就行。不管哪一种都需要更改存储过程，需要把基础数据导入到正式数据的语句改成按天的。 [code="python"] ...

2009-05-21 14:47:33 68

统计系统四----日志解析一

解析日志的shell文件(phase_log.sh) [code="python"] . comm_function.sh #工作目录 work_path=`getWorkPath` work_log=$work_path"/log/work.log" error_log=$work_path"/log/error.log" phase_error_log=$work_path"...

2009-05-21 14:36:27 79

统计系统三----日志下载续

日志下载，减少一些参数一下是源码： [code="python"] #!/bin/sh #调用方法：./down_log.sh pv 2009-05-13-10 #第一个参数为下载日志的类型第二个参数为下载的时间 #注意日志下载的类型需要在配置文件里进行配置相应的日志名称，日志解压缩后的名称，日志保存路径，日志下载url的配置文件路径 . comm_function.sh ...

2009-05-18 16:54:29 71

统计系统二-----日志下载

这是下载的shell脚本，需要配置文件，之后会慢慢介绍一下是源码 [code="python"] . comm_function.sh #工作目录 work_path=`getWorkPath` #下载的时间,默认为上一个小时 lasthour=`date --date="1 hour ago" +%Y-%m-%d-%H`; #获取配置文件的路径 config_a...

2009-05-18 16:52:01 83

原创数据结构一--------概念与算法

摘自：http://czk.8866.org/wiki/%E6%95%B0%E6%8D%AE%E7%BB%93%E6%9E%84%E6%A6%82%E8%BF%B0 [color=red][b]数据结构（包括逻辑结构，存储结构，运算）算法（时间复杂度，空间复杂度）[/b][/color] [b][size=large]1.计算机是一种处理数据的机器[/size][/b] ...

2009-05-17 10:50:17 106

原创数据结构二---------线性表

线性表包括顺序表和链表，链表又包括单链表，双链表，循环链表，貌似是这样，呵呵顺序表查询起来会比较快，相当于java里面的ArrayList 链表是插入或删除会比较快，相当于java里面的LinkedList 以下内容摘自:http://czk.8866.org/wiki/%E7%BA%BF%E6%80%A7%E8%A1%A8 线性表总结线性表是一种典型的线性结构，...

2009-05-17 10:30:36 111

统计系统一-----用shell写的一些函数

用shell写的一些函数属于统计系统的一部分，之后会慢慢写出来其它的部分 [code="python"] #获取当前时间 getCurrentTime(){ current_time=`date --date="now" +%Y-%m-%d' '%H:%M:%S`; echo $current_time; } #时间格式的转换 #如：2009-05-14 1...

2009-05-15 19:02:27 80

canofy