今天要开始设计的步骤了,不过发现手都竟然没有画类的工具,将就了,想到啥先写啥。
程序先分成四个部分
1、数据保存,查询,分类包
2、数据检索包
3、页面链接队列包
4、界面显示包
第一部分:数据保存,查询,分类
对于数据的保存、查询和分类独立成一个包,里面包含数据的各种操作,暂时针对sql2000 和access 设计。不过今天有想到,要不做成自己的数据格式保存,这样速度也很快,因为这个程序基本使用的都是线性表的操作,所以速度上是可以接受的,不过还是要看System.IO的类,看看针对自定义文件结构读取有什么方便的方法,大学的时候做过基于文本的数据表,估计也可以用上,而且加上zip压缩的话,200M的日志过滤后估计2M 都不知道有没有。
第二部分:数据检索包
主要就是针对链接的SQL注入检查,数据来源从第三部分的对列中取,这样可以实现多线程的操作,考虑是否做成插件式,这样可以方便很多种检查,不一定是SQL的检查,或者可以是对链接是否存在的检查,方便括充功能。
第三部份:页面链接队列包
链接队列的作用是采集网站的链接列表,由于采集分析链接地址速度比较快,需要先启动后收集数据,同时数据检索也可以同时运行。主要功能是对网站结构进行层遍历,看看是否可以加上正则判断来遍历,毕竟都是给程序员用,自己写个正则收集页面也容易,比较麻烦的是针对post发送和javascipt链接的地址,再考虑
第四部分:界面显示包
界面显示就不用怎么说了,反正输入,输出,线程的状态等。
今天大概想的就这些了,继续学习,明天继续想。