Gingko——百度内网用于数据分发的P2P传输工具

最新推荐文章于 2022-02-13 01:25:14 发布
最新推荐文章于 2022-02-13 01:25:14 发布
阅读量1k 收藏
点赞数
文章标签： 百度 数据 p2p 服务器 应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/38820765
版权

Gingko——百度内网用于数据分发的P2P传输工具


Gingko当前应用于百度内部100多个产品线的数据分发、配置更新、模块部署、词典传输等场景中。公司内各产品线每天使用gingko进行1600w次数据下载操作，下载的总数据量在700TB+，覆盖2w+台机器。同时，当前能够支持 在30分钟内分发一份数据（700M左右）到全公司所有服务器上（数十万台机器）。


详细解读 和小伙伴们一起来吐槽

chengying332
关注
p2p-chat：P2P LAN聊天和文件共享工具|内网p2p聊天和文件传输工具
02-04
点对点聊天 P2P LAN聊天和文件共享工具 背景 原为计算机网络课设，从2017年5月开始开发，我尝试在TCP上实现应用层的网络协议。 一切用JSON 传输的数据格式用JSON，参考 ，我试着将缓冲区封装在JSON里，连大文件的数据也放在里边，二进制转成utf8长度…… TCP传输的最小单位是字节，从数据事件拿到的数据可能不是完整的消息，如果一个套接字连续发送消息，字节可能会黏住，分不出需要的消息的结束位置。因此，我要实现一个解析器，从字节流中解析出消息。 我想到的第一个解析数据的方法是try catch + JSON.parse，将拿到的数据放置到一个数组中，拆分排列中的buffer，尝
gingko:点对点工具
06-27
gingko ====== gingko简介 gingko是noah提供的基于BitTorrent的P2P文件传输工具。其主要有以下优点： 支持数十万台机器规模的p2p传输。 下载速度快 可进行单任务上传、下载限速以及做种机整体上传限速 做种过程中，任务限速、暂停、恢复等可动态改变 下游机器群提供多种不同源下载方式（torrent文件、infohash、http地址指定的torrent文件），尽可能满足用户自动化需求 支持多机做种 支持hdfs上的数据做种 优化后的上游结点选择策略，最大程度减少跨机房流量，并提高传输速度 支持断点续传 可随时查看任务状态、进度等信息 p2p tool gingko组成部分 gko 客户端工具（当前基于libtorrent-1.0.0-RC2） gko-tracker tracker服务器 依赖libtorrent，需要打patch（libtorrent-1
我正在做的一个P2P工具
weixin_33965305的博客
03-25 106
上一篇博客写了我一些关于P2P下载以及平台的思考，有这样的思考，是因为我正在做一件这样的事情。我介绍一下我正在做的事情吧：1、基于JXTA，我崇拜Bill Joy，学习JXTA就是因为我崇拜他，之后觉得这个技术很棒。但是JXTA存在一些用户不友好的地方，包括JXTA的ConfigDialog和DialogAuthenticator是十分用户不友好的，我重写了这些部分。虽然是一些无关痛痒的地方，但是...
异步多线程C/S框架gko_pool
09-11 140
曾经在上家公司做了一个内网P2P的传输工具名曰gingko 当时太菜了，网络部分写的很差，各种阻塞式网络通信 后来离职把memcached的代码研究了一下，感觉里面的网络模型非常先进 我就把memcached的网络部分抽取出来和gingko做了结合，写成了一个网络框架叫gko_pool 大致特性是： 完全异步化（包括DNS解析） 可以listen一个端口当server，也可
Gingko.dicom
07-20
dicom看图软件多操作系统开源软件医学影像
gingko-to-markdown:将银杏树导出到 Markdown 文件
07-24
Gingko 到 Markdown 你知道吗？ 如果你不知道，这里有一个简短的两个词描述：分层写作。 基本上，它允许您以分层和非线性的方式写下内容并组织您的想法，而不是简化的文字处理器。 它使用 Markdown 格式工作，因此...
Node.js-Nulis是写作者的开源树编辑器类似于Gingko
08-09
**Node.js介绍** Node.js是一个基于Chrome V8引擎的JavaScript运行环境，它让JavaScript能够在服务器端执行，打破了JavaScript只能...对于喜欢探索新工具或对编程感兴趣的写作者来说，Nulis无疑是一个值得尝试的选择。
socket-server:用于银杏实时协作的套接字服务器
04-30
这是一个围绕的简单轻巧的包装程序，用于支持gingko的实时协作。 它仅处理2个事件： subscribe ：加入的树木名单，并放出viewers [{ _id, email, agent, socketId }, ...]到所有客户端。 sync ：在选定的树中发生...
集群分发工具
09-16
小规模任务分发，状态查询工具，使用pexpect实现，主要用于pexpect学习使用
结合P2P软件使用Ansible分发大文件
liukuan73的专栏
09-28 2387
http://john88wang.blog.51cto.com/2165294/1793080/
百度p2p cdn 云服务器,百度P2P CDN——带宽不限、无需申请、即开即赚
weixin_39814925的博客
07-30 1702
百度P2P CDN是什么通过专业技术和云计算方案，让您可以贡献家庭闲置的网络流量，获得现金或现金等价物资回报！百度P2P CDN设计原理百度P2P CDN是什么？用户通过百度P2P CDN获取的直接收益，同时也可以兑换高价值的礼品卡。如何加入百度P2P CDN？您只需下载百度P2P CDN客户端，登录后软件自动完成初始化软件，收益会自动存入您的账户。收益如何计算？您可以在官网的收益管理页面，进行查...
内网穿透实现P2P通信
Barry的博客
02-13 1万+
P2P 通信最大的障碍就是 NAT（网络地址转换），NAT 使得局域网内的设备可以与公网进行通讯，但是不同 NAT 下的设备之间通讯将会变得很困难。UDP 打洞就是用来使得设备间绕过 NAT 进行通讯的一种技术。
利用P2P软件(Murder)大规模分发大文件
赶路人儿
08-26 5371
引言 当服务器多时，为了管理方便和提升效率，就会用到自动化管理工具（如Ansible）来自动部署和批量分发文件。 场景描述：目前有50+台服务器，已部署Ansible用于自动化部署和批量分发文件。批量分发文件时，一般把文件传到 Ansible 所在的服务器并通过 copy或者synchronize 模块传输，文件小于100M时，分发正常。当传输大文件时（100M+），受单节点及其带宽的影响，...
局域网采用BT方式（P2P）传输大文件解决方案
xchgx的专栏
09-11 6635
局域网BT服务器搭建笔记 一、启动bitcomettracker 解压bitcomettracker.zip 双击启动“BitCometTracker.exe” 等待界面出现，点击“Run” 二、启动utorrent制作种子 打开utorrent，点击主菜单的【文件】->【制作Torrent】 在对话框中点击【添加文件】（如果是发布文件夹就选择...
小项目---基于局域网的P2P文件共享工具
Lee's site
08-10 3528
项目名称：P2P文件共享神器 项目介绍： 该项目完成了一个基于本地局域网的P2P文件共享小工具。本项目分为客户端与服务端。以下是功能介绍： 能够进行搜索匹配局域网中运行此工具的在线主机；获取到局域网在线主机列表，并进行多线程主机配对； 能够获取指定主机所共享的文件信息列表（指定的共享目录下的文件信息）； 能够对指定主机上的指定文件进行多线程分块下载来提高传输效。 使用到的库 本项目基于HTT...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值