Gingko——百度内网用于数据分发的P2P传输工具

最新推荐文章于 2022-02-13 01:25:14 发布
最新推荐文章于 2022-02-13 01:25:14 发布
阅读量1k 收藏
点赞数
文章标签： 百度 数据 p2p 服务器 应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/38820765
版权

Gingko——百度内网用于数据分发的P2P传输工具


Gingko当前应用于百度内部100多个产品线的数据分发、配置更新、模块部署、词典传输等场景中。公司内各产品线每天使用gingko进行1600w次数据下载操作，下载的总数据量在700TB+，覆盖2w+台机器。同时，当前能够支持 在30分钟内分发一份数据（700M左右）到全公司所有服务器上（数十万台机器）。


详细解读 和小伙伴们一起来吐槽

chengying332
关注
p2p-chat：P2P LAN聊天和文件共享工具|内网p2p聊天和文件传输工具
02-04
点对点聊天 P2P LAN聊天和文件共享工具 背景 原为计算机网络课设，从2017年5月开始开发，我尝试在TCP上实现应用层的网络协议。 一切用JSON 传输的数据格式用JSON，参考 ，我试着将缓冲区封装在JSON里，连大文件的数据也放在里边，二进制转成utf8长度…… TCP传输的最小单位是字节，从数据事件拿到的数据可能不是完整的消息，如果一个套接字连续发送消息，字节可能会黏住，分不出需要的消息的结束位置。因此，我要实现一个解析器，从字节流中解析出消息。 我想到的第一个解析数据的方法是try catch + JSON.parse，将拿到的数据放置到一个数组中，拆分排列中的buffer，尝
gingko:点对点工具
06-27
gingko ====== gingko简介 gingko是noah提供的基于BitTorrent的P2P文件传输工具。其主要有以下优点： 支持数十万台机器规模的p2p传输。 下载速度快 可进行单任务上传、下载限速以及做种机整体上传限速 做种过程中，任务限速、暂停、恢复等可动态改变 下游机器群提供多种不同源下载方式（torrent文件、infohash、http地址指定的torrent文件），尽可能满足用户自动化需求 支持多机做种 支持hdfs上的数据做种 优化后的上游结点选择策略，最大程度减少跨机房流量，并提高传输速度 支持断点续传 可随时查看任务状态、进度等信息 p2p tool gingko组成部分 gko 客户端工具（当前基于libtorrent-1.0.0-RC2） gko-tracker tracker服务器 依赖libtorrent，需要打patch（libtorrent-1
我正在做的一个P2P工具
weixin_33965305的博客
03-25 106
上一篇博客写了我一些关于P2P下载以及平台的思考，有这样的思考，是因为我正在做一件这样的事情。我介绍一下我正在做的事情吧：1、基于JXTA，我崇拜Bill Joy，学习JXTA就是因为我崇拜他，之后觉得这个技术很棒。但是JXTA存在一些用户不友好的地方，包括JXTA的ConfigDialog和DialogAuthenticator是十分用户不友好的，我重写了这些部分。虽然是一些无关痛痒的地方，但是...
异步多线程C/S框架gko_pool
09-11 140
曾经在上家公司做了一个内网P2P的传输工具名曰gingko 当时太菜了，网络部分写的很差，各种阻塞式网络通信 后来离职把memcached的代码研究了一下，感觉里面的网络模型非常先进 我就把memcached的网络部分抽取出来和gingko做了结合，写成了一个网络框架叫gko_pool 大致特性是： 完全异步化（包括DNS解析） 可以listen一个端口当server，也可
Gingko.dicom
07-20
dicom看图软件多操作系统开源软件医学影像
gingko-to-markdown:将银杏树导出到 Markdown 文件
07-24
Gingko 到 Markdown 你知道吗？ 如果你不知道，这里有一个简短的两个词描述：分层写作。 基本上，它允许您以分层和非线性的方式写下内容并组织您的想法，而不是简化的文字处理器。 它使用 Markdown 格式工作，因此...
Node.js-Nulis是写作者的开源树编辑器类似于Gingko
08-09
**Node.js介绍** Node.js是一个基于Chrome V8引擎的JavaScript运行环境，它让JavaScript能够在服务器端执行，打破了JavaScript只能...对于喜欢探索新工具或对编程感兴趣的写作者来说，Nulis无疑是一个值得尝试的选择。
socket-server:用于银杏实时协作的套接字服务器
04-30
这是一个围绕的简单轻巧的包装程序，用于支持gingko的实时协作。 它仅处理2个事件： subscribe ：加入的树木名单，并放出viewers [{ _id, email, agent, socketId }, ...]到所有客户端。 sync ：在选定的树中发生...
局域网P2P文件同步工具 — 自同步 Windows V1.5.0 beta
01-04
Windows 安装版 1.5.0 beta 大小：4.4MB 更新：2014-12-20 XP/Vista/Win7/Win8 自同步是一款由国内创业团队推出的局域网P2P免费文件同步工具。处在同一个局域网下的多台电脑，可通过自同步来建立电脑里文件夹之间的同步关系，做到文件夹中文件的数量、内容相一致，并且不需要云和外网。此外，自同步特有的密钥加密更保证了数据的安全性。并且，其特有的分享功能又可以做到轻轻松松将同步目录分享给周围的朋友们。 软件特点 1. 无需网盘，局域同步 与市面上流行的网盘不同，自同步不需要您的设备时时刻刻连接互联网完成文件同步工作，而只需要在同一个局域网内就能完成文件同步工作。 2. 实时同步，多台互联 处于同步中的目录，只要其中一个目录发生变化，如文件/目录添加、修改、删除等操作，那么与该目录建立同步关系的其它目录也会迅速反应，进行相应的修改，保持与原目录的文件一致；此外，只需将文件放到同步目录，程序将自动上传这些文件，同时其它电脑登陆自同步时自动下载到新电脑，实现多台电脑的文件同步。 3. 目录分享，轻松同步 同步目录分享功能，可以轻松将同步目录分享给周围的朋友（无需同步口令相同）。 4. 密钥加密，保护数据 在局域网内采用AES加密方式传输数据并建立密钥，防止处于同一局域网内的非法设备窃取数据。 5. 优化传输，极速速度 千兆路由的局域网环境下传输速度最高可达70MB/s，同步过程犹如硬盘间的复制粘贴一样方便快捷。
集群分发工具
09-16
小规模任务分发，状态查询工具，使用pexpect实现，主要用于pexpect学习使用
局域网P2P文件同步工具 — 自同步 Android 4.0.4版
01-04
Android 1.5.1 beta 大小：6.3MB 更新：2014-12-24 Android 4.0.4 自同步是一款由国内创业团队推出的局域网P2P免费文件同步工具。处在同一个局域网下的多台电脑，可通过自同步来建立电脑里文件夹之间的同步关系，做到文件夹中文件的数量、内容相一致，并且不需要云和外网。此外，自同步特有的密钥加密更保证了数据的安全性。并且，其特有的分享功能又可以做到轻轻松松将同步目录分享给周围的朋友们。 软件特点 1. 无需网盘，局域同步 与市面上流行的网盘不同，自同步不需要您的设备时时刻刻连接互联网完成文件同步工作，而只需要在同一个局域网内就能完成文件同步工作。 2. 实时同步，多台互联 处于同步中的目录，只要其中一个目录发生变化，如文件/目录添加、修改、删除等操作，那么与该目录建立同步关系的其它目录也会迅速反应，进行相应的修改，保持与原目录的文件一致；此外，只需将文件放到同步目录，程序将自动上传这些文件，同时其它电脑登陆自同步时自动下载到新电脑，实现多台电脑的文件同步。 3. 目录分享，轻松同步 同步目录分享功能，可以轻松将同步目录分享给周围的朋友（无需同步口令相同）。 4. 密钥加密，保护数据 在局域网内采用AES加密方式传输数据并建立密钥，防止处于同一局域网内的非法设备窃取数据。 5. 优化传输，极速速度 千兆路由的局域网环境下传输速度最高可达70MB/s，同步过程犹如硬盘间的复制粘贴一样方便快捷。
结合P2P软件使用Ansible分发大文件
liukuan73的专栏
09-28 2386
http://john88wang.blog.51cto.com/2165294/1793080/
内网穿透实现P2P通信
Barry的博客
02-13 1万+
P2P 通信最大的障碍就是 NAT（网络地址转换），NAT 使得局域网内的设备可以与公网进行通讯，但是不同 NAT 下的设备之间通讯将会变得很困难。UDP 打洞就是用来使得设备间绕过 NAT 进行通讯的一种技术。
利用P2P软件(Murder)大规模分发大文件
赶路人儿
08-26 5371
引言 当服务器多时，为了管理方便和提升效率，就会用到自动化管理工具（如Ansible）来自动部署和批量分发文件。 场景描述：目前有50+台服务器，已部署Ansible用于自动化部署和批量分发文件。批量分发文件时，一般把文件传到 Ansible 所在的服务器并通过 copy或者synchronize 模块传输，文件小于100M时，分发正常。当传输大文件时（100M+），受单节点及其带宽的影响，...
局域网采用BT方式（P2P）传输大文件解决方案
xchgx的专栏
09-11 6632
局域网BT服务器搭建笔记 一、启动bitcomettracker 解压bitcomettracker.zip 双击启动“BitCometTracker.exe” 等待界面出现，点击“Run” 二、启动utorrent制作种子 打开utorrent，点击主菜单的【文件】->【制作Torrent】 在对话框中点击【添加文件】（如果是发布文件夹就选择...
百度内网P2P工具Gingko：解决大规模数据分发难题
Gingko是百度内部开发的一款专为满足大规模企业内网数据分发需求的P2P传输工具。这款工具由百度的研发工程师刘明主导设计和研发，其主要目的是解决传统单机下载工具在并发部署过程中遇到的瓶颈问题，如连接数限制、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值