- 博客(9)
- 收藏
- 关注
RSS订阅翻译 闲暇时间看了下DHT网络
P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。 P2P按其拓扑关系大致可以分为两类四种形式： 1.非结构化拓扑
2014-06-20 19:32:45
306
翻译 现在公开一个DHT网络爬虫
dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终
2014-06-20 19:32:04
330
翻译 利用DHT网络原理制作bt采集蜘蛛
我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。 然后我打算使用couchdb，因为它是erlang写的，而我正在用erlang写程序。第一次接触非关系
2014-06-20 19:30:53
317
翻译 闲暇时间看了下DHT网络
P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索 P2P按其拓扑关系大致可以分为两类四种形式：
2014-06-20 19:29:53
314
翻译 现在公开一个DHT网络爬虫
P2P系统的应用越来越广泛，在文件共享、流媒体服务、即时通讯交流、计算和存储能力共享以及协同处理与服务等方面都能看到P2P的存在，一些P2P应用如Napster、eMule、BitTorrent等早已是家喻户晓了。效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索 P2P按其拓扑关系大致可以分为两类四种形式：
2014-06-20 19:28:49
293
翻译 利用DHT网络原理制作bt采集蜘蛛
我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。 然后我打算使用couchdb，因为它是erlang写的，而我正在用erlang写程序。第一次接触非关系
2014-06-20 19:27:51
382
翻译 现在公开一个DHT网络爬虫
我最开始在选用数据库时，为了不使用第三方库，打算使用erlang自带的mnesia。但是因为涉及到字符串匹配搜索，mnesia的查询语句在我看来太不友好，在经过一些资料查阅后就直接放弃了。关于这个网络的工作原理，参看：P2P中DHT网络爬虫（链接）以及写了个磁力搜索的网页（链接http://www.51bt.cc）。然后我打算使用couchdb，因为它是erlang写的，而我正在用er
2014-06-20 19:22:13
558
翻译 利用DHT网络原理制作bt采集蜘蛛
dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终
2014-06-20 19:16:52
296
翻译 利用DHT网络原理制作bt采集蜘蛛
Torrent文件内的数据结构分为以下几部分：关于这个网络的工作原理，参看：P2P中DHT网络爬虫（链接）以及写了个磁力搜索的网页（链接）。announce:Tracker的主服务器announce-list：Tracker服务器列表comment:种子文件的注释comment.utf-8：种子文件注释的utf-8编码creation d
2014-06-20 19:16:17
778
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人