开源磁力搜索爬虫dhtspider原理解析

开源地址：https://github.com/callmelanmao/dhtspider。

开源的dht爬虫已经有很多了，有php版本的，python版本的和nodejs版本。经过一些测试，发现还是nodejs版本的爬虫效率最高，测试使用的是github上面的已有开源项目，https://github.com/dontcontactme/p2pspider/。

p2pspider开发的时候es2015才刚出来，所以决定用es2015把p2pspider项目重写一遍，顺便深入学习一下dht爬虫的原理。

dht爬虫总体分成两个模块。

dht模块

dht模块实现一个dht节点，用来和网上的其他dht节点进行通信，在通信的过程中完成收集磁力链接的任务。

bt模块

bt模块实现一个bt协议的客户端程序，当发现一个磁力链接可以下载的时候，通过bt客户端和远程的服务器通信，下载种子的元数据，

原理解析

0×01 相关术语

1.1 P2P网络

对等计算（Peer to Peer，简称p2p）可以简单的定义成通过直接交换来共享计算机资源和服务，而对等计算模型应用层形成的网络通常称为对等网络。相信大家都用