作为一个爬虫,最基本的便是能够从各个页面中提取URL,给整个爬虫系统模型提供一个URL抽取器模块。 在文章 〈 [ 爬虫 ] URL的提取 〉中介绍我的URL提取器的实现。
接着是下载模块,当然我还没学网络呢,对这些不是怎么清楚,大概的看了下帮助,简单的封装了一个用于下载的类。提供接口有:
open_section(...) // [打开绘画]
build_connection(...) // [建立连接 :说明,在爬虫中针对同一个HOST我采取的是维持一定的连接,然后多次使用该连接请求不同的页面,提高了爬虫速度
get_page(...) // [请求页面,在此实现中我使用的是字符串流,开始只是因为习惯,加上一点的方便,没考虑想对于直接用byte数组的速度差距……,没测试]
close(); // [用于关闭会话以及连接]
……
待写...
---------------------
回下面的兄弟,因为现在不知道为啥看不到验证码图片...
(啊,不好意思,不好意思,要是以前我还可以和你聊,现在忘记完了,代码嘛,我没完成,其实完成了基本,不过,恩 太垃圾的代码我是不想拿出来的 抱歉
并且好像还有好几个关键地方想法错误,忘了~~,哎反正现在想起来(虽然大学而后好像没写代码了)大学写的都好乱,有好多华而不实的东西)