dht java_一个java版本的dht网络爬虫，伪装dht节点获取hashinfo

最新推荐文章于 2021-02-23 23:09:43 发布
最新推荐文章于 2021-02-23 23:09:43 发布
阅读量297 收藏 1
点赞数
文章标签： dht java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39824834/article/details/114062418
版权
该项目是一个使用Java实现的DHT网络爬虫，能够伪装成DHT节点获取hashinfo，并将其保存到文本文件。适用于部署在国外服务器上。尽管BencodeUtils类未测试list编码，但已满足当前demo需求。多线程和线程同步在特定包中实现，可直接运行jar包进行测试。
摘要由CSDN通过智能技术生成

dht-spider

一个java版本的dht网络爬虫，伪装dht节点获取hashinfo

导入idea 在入口类DhtNetworkApplication 的main方法下 修改udp端口 直接运行即可。 需要放置在国外的服务器上。

磁力的hashinfo的保存暂时采用了保存到文本中 在 package top.readm.demo.dhtnetwork.dht.Utils; HashSaveUtils类中可见保存的细节

关于我写的becode编码实现类 BencodeUtils类 因为整个demo中的报文并没有用到list所以关于list的编码可能会有问题(我没有测试list)。 但对于这个demo中的需求。这个工具已经够用了。

多线程 和 线程共享数据 及同步锁 所在的包 package top.readm.demo.dhtnetwork.dht.thread;

如需要测试 直接下载release下的jar包 按照描述运行即可 以下为测试的截图

开启基本的几个线程后抓取info的情况

102b285b607e682f3da6f7d29fa9ce76.png

迅雷验证下可靠的hashinfo

93bd177503671d82ac1196c31529e68a.png

weixin_39824834
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
利用DHT网络原理制作bt采集蜘蛛，开源版
asdjahsdjhasid的专栏
06-18 1532
关于这个网络的工作原理，参看：P2P中DHT网络爬虫（链接）以及写了个磁力搜索的网页（链接http://www.51bt.cc）。 找了台服务器将磁力链接爬虫架设起来http://www.51bt.cc(51搜索)大家可以看下。 效果可以看下具体51搜索展示http://www.51bt.cc，结合Xunsearch全文检索技术，可以达到毫秒级的数据搜索 DHT网络本质上是一个用于查询的
java dht 爬虫_P2P中DHT网络爬虫
weixin_34450486的博客
02-23 526
DHT网络爬虫基于DHT网络构建了一个P2P资源搜索引擎。这个搜索引擎不但可以用于构建DHT网络中活跃的资源索引(活跃的资源意味着该网络中肯定有人至少持有该资源的部分数据)，还可以分析出该网络中的热门分享资源。小虾不久前发布了一个这样的搜索引擎：磁力搜索。他也写博客对此稍作了介绍：写了个磁力搜索的网页 － 收录最近热门分享的资源。网络上其实也有其他人做了类似的应用：DHT monitoring，C...
一个java版本的dht网络爬虫伪装dht节点获取hashinfo
08-08
一个java版本的dht网络爬虫，伪装dht节点获取hashinfo
DhtClient.java
11-13
This is a simple DHT Client implementation for my computer network class
java dht 爬虫_[搜片神器]之DHT网络爬虫的代码实现方法
weixin_42355999的博客
02-16 684
1 int CDHT::dht_periodic(const void *buf, size_t buflen,const struct sockaddr *fromAddr, int fromlen,time_t *tosleep,dht_callback *callback, void *closure)2 {3 gettimeofday(&nowTime, NULL);45 ...
一个java版本的dht网络爬虫，伪装dht节点获取hashinfo.zip
03-06
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
可扩展的DHT网络爬虫设计和优化
02-20
通常,这类爬虫从一个起始的已知节点集开始扫描,然后通过迭代式地查询来获取更多的节点信息.设计爬虫的时候通常希望达到3个性能方面的目标:尽快完成对一个已知的节点集的扫描,尽可能抓取到更多的节点信息,尽量减少...
磁力链接-基于Python实现的DHT网络爬虫抓取磁力链接.zip
04-05
本项目"磁力链接-基于Python实现的DHT网络爬虫抓取磁力链接.zip"显然专注于利用Python编程语言来构建一个DHT网络爬虫，用于抓取和收集磁力链接。 首先，我们来理解磁力链接。磁力链接由一串哈希值（通常是SHA1）...
基于python 实现的DHT Crawler 网络爬虫，抓取DHT网络的磁力链接
04-23
*__运行的机器要能被外网访问，用来接收dht网络节点的信息，使用vps即可__* 1. linux 服务器 2. python 2.7.3 3. 安装 libtorrent 的 python 绑定库 4. 安装 twisted 网络库 5. 开放防火墙的对应端口段，目前...
P2P DHT sp
lxyfish111的专栏
03-23 899
DHT网络爬虫基于DHT网络构建了一个P2P资源搜索引擎。这个搜索引擎不但可以用于构建DHT网络中活跃的资源索引（活跃的资源意味着该网络中肯定有人至少持有该资源的部分数据），还可以分析出该网络中的热门分享资源。小虾不久前发布了一个这样的搜索引擎：磁力搜索。他也写博客对此稍作了介绍：写了个磁力搜索的网页 － 收录最近热门分享的资源。网络上其实也有其他人做了类似的应用：DHT monitoring
python 编写的DHT Crawler 网络爬虫
11-04
DHTCrawler python 编写的DHT Crawler 网络爬虫，抓取DHT网络的磁力链接。 文件 collector.py dht网络爬虫脚本 抓取dht网络的磁力链接，使用 libtorrent 的python绑定库开发。 collectord.py dht爬虫服务监控程序 启动并监控dht爬虫进程，在爬虫进程退出后重启启动爬虫，使用 twisted 开发。 安装和使用方法 运行环境 运行的机器要能被外网访问，用来接收dht网络节点的信息，使用vps即可 1. linux 服务器 2. python 2.7.3 3. 安装 libtorrent 的 python 绑定库 4. 安装 twisted 网络库 5. 开放防火墙的对应端口段，目前默认的是 32900--32920 (20是工作的p2p客户端数量) 运行方法 1. 下载 collector.py collectord.py 文件到安装目录 2. 脚本方式测试运行： python collector.py result.json collector.state 3. 服务方式运行：twistd -y collectord.py 状态查看 1. 通过twistd服务启动时，服务状态查看：telnet 127.0.0.1 31000 2. 命令行或服务启动是，爬虫状态查看：cat collector.state 运行结果 result.json 是收集的磁力链接结果文件，json格式，key是资源的info hash，value是资源的热度
DhtServer.java
11-13
This is a simple Dht Server implementation in my computer network class
java DHT爬虫 重构并加了注释, 修复了一些bug
06-29
最近有几个朋友来问我之前写的DHT爬虫相关的东西, 之前的代码写的很乱而且没有注释, 因此重构了一版并补齐了注释, 希望能方便有兴趣的朋友阅读, 直接运行Main.java不需要其他额外工作, 之前没有注释的版本下载地址http://download.csdn.net/detail/dgqjava/9561859, 不建议下那个代码了, 没注释而且结构混乱 代码文件编码是UTF8
ChordDHT:分布式哈希表的Java实现
05-01
和弦DHT 分布式哈希表的Java实现。 该项目是KTH的ID2212 Java网络编程课程的一部分。 :warning: 笔记 该项目仅用于个人/教育用途。 它不是，也可能永远不适合生产使用。 建造 要进行编译（JDK 7）：javac -d bin -sourcepath src src / dht / .java javac -d bin -sourcepath src src / tests / .java 运行测试应用程序（tests / DistributedStorage）：java tests.DistributedStorage [localname] | [本地名称，远程名称，远程主机，远程端口] Using the single argument [localname] will create a small local network, which can be iden
ChordDHT：使用类似Chord的逻辑和Java RMI的DHT实现
02-02
概要 这是一个分布式词典，可以将键值对保存在节点网络中。 网络使用Java RMI for RPC实现类似Chord的逻辑。 Maven用于构建运行项目所需的胖JAR。 该项目包含两个需要构建的JAR，分别是BootStrapNode JAR和ChordNode JAR，可以通过将pom.xml（第24行）中的MainClass更改为ChordNodeImpl或BootStrapNodeImpl来构建这两个JAR。 在任何给定的时间，BootStrap节点必须使用已知的IP进行联机，因为所有客户端节点（ChordNodes）将需要联系引导程序节点才能加入网络，引导程序节点充当网络中的众所周知的入口点并处理每个节点的初始联接。 所需工具 阿帕奇Maven Java 8+（添加了Java9支持） Docker（如果部署方法是docker swarm）。 使用说明 如摘要中所述更改pom.xlm MainClass（第24行）。 通过运行以下命令来构建maven项目（或使用预编译的JAR）： mvn clean compile assembly:single 3a。 要设置BootS
DHT 爬虫
CAir2的专栏
10-29 1111
1.DHT爬虫基础 了解DHT协议：https://blog.csdn.net/xxxxxx91116/article/details/7970815 了解DHT爬虫原理：https://www.cnblogs.com/xiejc/p/3727229.html 在simDHT基础上改造：https://github.com/wuzhenda/simDHT 2.simDHT爬虫源代码修改 在实际...
现在公开一个DHT网络爬虫
asdgtyui的专栏
06-20 341
dhtcrawler最早的版本有很多问题，修复过的最大的一个问题是关于erlang定时器的，在DHT实现中，需要对每个节点每个peer做超时处理，在erlang中的做法直接是针对每个节点注册了一个定时器。这不是问题，问题在于定时器资源就像没有GC的内存资源一样，是会由于程序员的代码问题而出现资源泄漏。所以，dhtcrawler第一个版本在节点数配置在100以上的情况下，用不了多久就会内存耗尽，最终
java dht 爬虫_DHT爬虫（golang版-附源码）
weixin_34891129的博客
02-23 819
前言简介DHT爬虫要做的事情，首先就是要加入到DHT网络中，这样就会源源不断收到其他节点发过来的请求，然后从中获取种子的hash值。那么问题来了1: 怎么加入到DHT网络中？2: 怎么让其他节点给你发消息？3: 哪些请求里面包含hash信息？看过上面的文章，大家应该明白DHT网络中节点之间的通信只有下面4种请求pingfind_nodeget_peerannounce_peer1:加入DHT网络要...
DHT11_DATA DHT11_data;
最新发布
07-02
DHT11_DATA DHT11_data; 这是一个C语言中的变量声明，用于存储DHT11温湿度传感器的数据。DHT11是一种常见的廉价数字式温湿度传感器，它返回的数据通常包含温度和湿度两个值。`DHT11_DATA`可能是定义的一种数据类型（结构体或枚举），用来统一管理和解析从DHT11传感器读取回来的数值。 在这个上下文中，`DHT11_data`就是用于存放这些传感器读数的具体实例变量。当你从DHT11传感器获取到数据后，会将其赋值给这个变量以便后续处理和分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值