- 博客(6)
- 收藏
- 关注
翻译 闲暇时间看了下DHT网络
DHT网络本质上是一个用于查询的网络,其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示,称为infohash。当一个程序作为DHT节点加入这个网络时,就会有其他节点来向你查询,当你做出回应后,对方就会记录下你。对方还会询问其他节点,当对方开始下载这个infohash对应的资源时,他就会告诉所有曾经询问过的节点,包括你。这个时候就可以确定,这个infohash对应的
2014-06-24 09:45:32 204
翻译 现在公开一个DHT网络爬虫
DHT网络本质上是一个用于查询的网络,其用于查询一个资源有哪些计算机正在下载。每个资源都有一个20字节长度的ID用于标示,称为infohash。当一个程序作为DHT节点加入这个网络时,就会有其他节点来向你查询,当你做出回应后,对方就会记录下你。对方还会询问其他节点,当对方开始下载这个infohash对应的资源时,他就会告诉所有曾经询问过的节点,包括你。这个时候就可以确定,这个infohash对应的
2014-06-24 09:44:39 404
翻译 闲暇时间看了下DHT网络
所有人都知道网页设计的重要性,糟糕的网页设计会给用户带来糟糕的体验,从而影响网页的流量,或是产品的销售。那么在设计网页的过程中,应该避免出现哪些错误呢? 效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索 1. 要求用户必须注册才能浏览网页内容 这种做法足以让用户立刻感到气愤不已。也许这样做能够让你获得一
2014-06-24 09:43:47 268
翻译 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
所有人都知道网页设计的重要性,糟糕的网页设计会给用户带来糟糕的体验,从而影响网页的流量,或是产品的销售。那么在设计网页的过程中,应该避免出现哪些错误呢? 1. 要求用户必须注册才能浏览网页内容找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。 这种做法足以让用户立刻感到气愤不已。也许这样做能够让你获得一些注册用户,但是你失去的远比所
2014-06-24 09:42:34 271
翻译 闲暇时间看了下DHT网络
dhtcrawler最早的版本有很多问题,修复过的最大的一个问题是关于erlang定时器的,在DHT实现中,需要对每个节点每个peer做超时处理,在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题,问题在于定时器资源就像没有GC的内存资源一样,是会由于程序员的代码问题而出现资源泄漏。所以,dhtcrawler第一个版本在节点数配置在100以上的情况下,用不了多久就会内存耗尽,最终
2014-06-24 09:41:23 303
翻译 现在公开一个DHT网络爬虫网络爬虫供大家一起交流
Torrent文件内的数据结构分为以下几部分:效果可以看下具体51搜索展示http://www.51bt.cc,结合Xunsearch全文检索技术,可以达到毫秒级的数据搜索 announce:Tracker的主服务器 announce-list:Tracker服务器列表 comment:种子文件的注释 comment.utf-8:种子文件注释的utf-8编码
2014-06-24 09:40:24 324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人