Gingko——百度内网用于数据分发的P2P传输工具

最新推荐文章于 2021-07-30 01:39:01 发布
最新推荐文章于 2021-07-30 01:39:01 发布
阅读量1k 收藏
点赞数
文章标签： 百度 数据 p2p 服务器 应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengying332/article/details/38820765
版权

Gingko——百度内网用于数据分发的P2P传输工具


Gingko当前应用于百度内部100多个产品线的数据分发、配置更新、模块部署、词典传输等场景中。公司内各产品线每天使用gingko进行1600w次数据下载操作，下载的总数据量在700TB+，覆盖2w+台机器。同时，当前能够支持 在30分钟内分发一份数据（700M左右）到全公司所有服务器上（数十万台机器）。


详细解读 和小伙伴们一起来吐槽

chengying332
关注
p2p-chat：P2P LAN聊天和文件共享工具|内网p2p聊天和文件传输工具
02-04
点对点聊天 P2P LAN聊天和文件共享工具 背景 原为计算机网络课设，从2017年5月开始开发，我尝试在TCP上实现应用层的网络协议。 一切用JSON 传输的数据格式用JSON，参考 ，我试着将缓冲区封装在JSON里，连大文件的数据也放在里边，二进制转成utf8长度…… TCP传输的最小单位是字节，从数据事件拿到的数据可能不是完整的消息，如果一个套接字连续发送消息，字节可能会黏住，分不出需要的消息的结束位置。因此，我要实现一个解析器，从字节流中解析出消息。 我想到的第一个解析数据的方法是try catch + JSON.parse，将拿到的数据放置到一个数组中，拆分排列中的buffer，尝
gingko:点对点工具
06-27
gingko ====== gingko简介 gingko是noah提供的基于BitTorrent的P2P文件传输工具。其主要有以下优点： 支持数十万台机器规模的p2p传输。 下载速度快 可进行单任务上传、下载限速以及做种机整体上传限速 做种过程中，任务限速、暂停、恢复等可动态改变 下游机器群提供多种不同源下载方式（torrent文件、infohash、http地址指定的torrent文件），尽可能满足用户自动化需求 支持多机做种 支持hdfs上的数据做种 优化后的上游结点选择策略，最大程度减少跨机房流量，并提高传输速度 支持断点续传 可随时查看任务状态、进度等信息 p2p tool gingko组成部分 gko 客户端工具（当前基于libtorrent-1.0.0-RC2） gko-tracker tracker服务器 依赖libtorrent，需要打patch（libtorrent-1
我正在做的一个P2P工具
weixin_33965305的博客
03-25 106
上一篇博客写了我一些关于P2P下载以及平台的思考，有这样的思考，是因为我正在做一件这样的事情。我介绍一下我正在做的事情吧：1、基于JXTA，我崇拜Bill Joy，学习JXTA就是因为我崇拜他，之后觉得这个技术很棒。但是JXTA存在一些用户不友好的地方，包括JXTA的ConfigDialog和DialogAuthenticator是十分用户不友好的，我重写了这些部分。虽然是一些无关痛痒的地方，但是...
异步多线程C/S框架gko_pool
09-11 140
曾经在上家公司做了一个内网P2P的传输工具名曰gingko 当时太菜了，网络部分写的很差，各种阻塞式网络通信 后来离职把memcached的代码研究了一下，感觉里面的网络模型非常先进 我就把memcached的网络部分抽取出来和gingko做了结合，写成了一个网络框架叫gko_pool 大致特性是： 完全异步化（包括DNS解析） 可以listen一个端口当server，也可
Gingko.dicom
07-20
dicom看图软件多操作系统开源软件医学影像
gingko-to-markdown:将银杏树导出到 Markdown 文件
07-24
Gingko 到 Markdown 你知道吗？ 如果你不知道，这里有一个简短的两个词描述：分层写作。 基本上，它允许您以分层和非线性的方式写下内容并组织您的想法，而不是简化的文字处理器。 它使用 Markdown 格式工作，因此...
Node.js-Nulis是写作者的开源树编辑器类似于Gingko
08-09
**Node.js介绍** Node.js是一个基于Chrome V8引擎的JavaScript运行环境，它让JavaScript能够在服务器端执行，打破了JavaScript只能...对于喜欢探索新工具或对编程感兴趣的写作者来说，Nulis无疑是一个值得尝试的选择。
socket-server:用于银杏实时协作的套接字服务器
04-30
这是一个围绕的简单轻巧的包装程序，用于支持gingko的实时协作。 它仅处理2个事件： subscribe ：加入的树木名单，并放出viewers [{ _id, email, agent, socketId }, ...]到所有客户端。 sync ：在选定的树中发生...
结合P2P软件使用Ansible分发大文件
liukuan73的专栏
09-28 2385
http://john88wang.blog.51cto.com/2165294/1793080/
利用P2P软件(Murder)大规模分发大文件
赶路人儿
08-26 5367
引言 当服务器多时，为了管理方便和提升效率，就会用到自动化管理工具（如Ansible）来自动部署和批量分发文件。 场景描述：目前有50+台服务器，已部署Ansible用于自动化部署和批量分发文件。批量分发文件时，一般把文件传到 Ansible 所在的服务器并通过 copy或者synchronize 模块传输，文件小于100M时，分发正常。当传输大文件时（100M+），受单节点及其带宽的影响，...
百度p2p cdn 云服务器,百度P2P CDN——带宽不限、无需申请、即开即赚
weixin_39814925的博客
07-30 1699
百度P2P CDN是什么通过专业技术和云计算方案，让您可以贡献家庭闲置的网络流量，获得现金或现金等价物资回报！百度P2P CDN设计原理百度P2P CDN是什么？用户通过百度P2P CDN获取的直接收益，同时也可以兑换高价值的礼品卡。如何加入百度P2P CDN？您只需下载百度P2P CDN客户端，登录后软件自动完成初始化软件，收益会自动存入您的账户。收益如何计算？您可以在官网的收益管理页面，进行查...
P2P--大文件分发网络的搭建
weixin_34293902的博客
06-16 2301
六月份去上海参加了DockOne组织的容器大会，报了一个小项目，不小心得了一等奖，这里拿出来跟大家共享一下其中核心的P2P传输网络的搭建，也是公司已经投入使用的大文件传输方式。项目设计：初衷：1、作为一个提供全球云计算业务的运营商来说，不管是本身海外节点业务的拓展、平台扩充还是客户定制模板业务的需求，都会涉及大文件的传输。一些普通的ISO系统镜像文件，一些客户定制的系统模...
centos7上使用ansible+murder分发文件
herojia的专栏
05-31 1817
参考网址： http://john88wang.blog.51cto.com/2165294/1793080 http://www.ansible.com.cn/docs/intro_installation.html 1.下载murder源码 wget https://github.com/lg/murder/archive/master.zip -O murder.zi
百度内网P2P工具Gingko：解决大规模数据分发难题
Gingko是百度内部开发的一款专为满足大规模企业内网数据分发需求的P2P传输工具。这款工具由百度的研发工程师刘明主导设计和研发，其主要目的是解决传统单机下载工具在并发部署过程中遇到的瓶颈问题，如连接数限制、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值