- 博客(4)
- 收藏
- 关注
翻译 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
DHT网络本质上是一个用于查询的网络,其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示,称为infohash。当一个程序作为DHT节点加入这个网络时,就会有其他节点来向你查询,当你做出回应后,对方就会记录下你。对方还会询问其他节点,当对方开始下载这个infohash对应的资源时,他就会告诉所有曾经询问过的节点,包括你。这个时候就可以确定,这个infohash对应的
2014-06-25 14:27:07 921
翻译 闲暇时间看了下DHT网络
P2P系统的应用越来越广泛,在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在,一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索 P2P按其拓扑关系大致可以分为两类四种形式:
2014-06-25 14:25:59 325
翻译 闲暇时间看了下DHT网络
我最开始在选用数据库时,为了不使用第三方库,打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索,mnesia的查询语句在我看来太不友好,在经过一些资料查阅后就直接放弃了。效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索然后我打算使用couchdb,因为它是erlang写的,而我正在用erla
2014-06-25 14:25:28 386
翻译 利用DHT网络原理制作bt采集蜘蛛
Torrent文件内的数据结构分为以下几部分:效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索announce:Tracker的主服务器announce-list:Tracker服务器列表comment:种子文件的注释comment.utf-8:种子文件注释的utf-8编码
2014-06-25 14:24:38 1965
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人