毕业设计中怎样用python写一个搜索引擎的分布式爬虫---异样的美感
用python编写分布式爬虫1、 网络连接需要持续连接(persistent connection),DNS解析的瓶颈(先查本地DNS缓存)实现方法:基于python httplib(对http1.1完成对持续连接的支持(python的httplib完全支持http1.1),如果不是http1.1那么可以使用urlopen对其进行一次连接)并对其socket对象进行控制,关键是加入对读取DNS
转载
2006-07-05 22:53:00 ·
5036 阅读 ·
0 评论