spider
文章平均质量分 54
ihavenoidea
这个作者很懒,什么都没留下…
展开
-
[spider] 爬虫总体模型
最近只想把以前的小程序好好整理,改改简历,提高简历的魅力(至少也得减少一点排斥力,哈~), 结果感觉动力不太明显,活干得不怎么利落,面对以前乱七八糟的东西,一下也拾不起来,生活习惯一下改变,也有一点不太习惯……。唉…… WK说他要做一个企业内部的“信息搜索工具”,暂且就这么叫吧,^_^ 想和我讨论一下以前我写的爬虫模型,以及相关实现。于是就重新拿起未完善的spider 代码,重新研究。原创 2005-09-25 10:39:00 · 2041 阅读 · 0 评论 -
[spider] Pagebuffer_Manger 部分伪代码
>buffer_manager idle_id_cont // 空闲的buffer id writed_id_cont // 空闲的buffer id,不过已经被write parsed_id_cont // 空闲的buffer id,不过已经被parse buffer_cont // 缓冲区集合 mutex // 互斥对象 >buffer data原创 2005-09-25 11:31:00 · 1209 阅读 · 0 评论 -
URL DB
原创 2005-10-21 21:42:00 · 1306 阅读 · 0 评论 -
spider 设计~
晚上开始抽时间来完善或者说是重新写以前的 spider~ ... 开始使用 UML ,HOHO,以前写那个感觉不好,现在好好设计设计 :) 尽管不咋会用,嘿嘿,至少我经历了不会用而用的阶段... 下一次 就是会用一点点而用的阶段了 :) 暂时画了个协作图,和几个活动图(感觉就是流程图一样的画 ) HOHO, 想到什么就画什么, 明天再改!~ WK 看到记得改改 哦总体协作图原创 2005-10-13 21:49:00 · 1414 阅读 · 0 评论