[爬虫] 爬虫的实现

    作为一个爬虫，最基本的便是能够从各个页面中提取URL，给整个爬虫系统模型提供一个URL抽取器模块。 在文章 〈 [ 爬虫 ] URL的提取 〉中介绍我的URL提取器的实现。

    接着是下载模块，当然我还没学网络呢，对这些不是怎么清楚，大概的看了下帮助，简单的封装了一个用于下载的类。提供接口有：

open_section(...)  // [打开绘画]

build_connection(...) // [建立连接 ：说明，在爬虫中针对同一个HOST我采取的是维持一定的连接，然后多次使用该连接请求不同的页面，提高了爬虫速度

get_page(...) // [请求页面,在此实现中我使用的是字符串流，开始只是因为习惯，加上一点的方便，没考虑想对于直接用byte数组的速度差距……，没测试]

close(); // [用于关闭会话以及连接]

……

 

 

 

 

待写...

 

 

---------------------

回下面的兄弟，因为现在不知道为啥看不到验证码图片...

（啊，不好意思，不好意思，要是以前我还可以和你聊，现在忘记完了，代码嘛，我没完成，其实完成了基本，不过，恩 太垃圾的代码我是不想拿出来的 抱歉

并且好像还有好几个关键地方想法错误，忘了~~，哎反正现在想起来（虽然大学而后好像没写代码了）大学写的都好乱，有好多华而不实的东西）