腾讯云大数据团队主导Apache社区新一代分布式存储系统Ozone 1.0.0发布

于 2020-09-24 14:42:10 发布
阅读量2k 收藏 9
点赞数 3
分类专栏： 技术 云计算 文章标签： hadoop spark hdfs mapreduce flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/karamos/article/details/108773967
版权

刚刚获悉，由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。据了解，经过2年多的社区持续开发和内部1000+节点的实际落地验证，Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。

Ozone 是Apache Hadoop社区推出的新一代分布式存储系统，它的出现满足了大量小文件的存储问题，解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统，能够支持百亿甚至千亿级文件规模的存储。

腾讯云大数据团队Ozone项目负责人陈怡表示，作为大数据领域的领导厂商，腾讯是国内一线互联网公司中最早加入社区的，目前已经在Ozone项目上已经主导完成了集群网络拓扑感知的开发，以及数据写入Multi-Raft Pipeline功能的开发。同时，主导的StorageContainerManager(SCM) 高可用HA功能也正在开发中。

 

Ozone

最低0.47元/天 解锁文章
腾讯开发者
关注
专栏目录
博客
腾讯混元文生图开源模型推出小显存版本，6G显存即可运行，并开源caption模型
07-04 634
7月4日，腾讯混元文生图大模型（混元DiT）宣布开源小显存版本，仅需6G显存即可运行，对使用个人电脑本地部署的开发者十分友好，该版本与LoRA、ControlNet等插件，都已适配至Diffusers库；用户可以通过图形化界面，完成模型的全参精调及LoRA训练，无需涉及到代码层面的细节。目前，业界对于图片描述文本的生成，主要使用通用多模态Captioner模型，存在描述过于简单或繁琐（与画面描述的无关信息过多）、缺少背景知识导致无法识别知名人物和地标等问题，并且许多模型并非中文原生，中文描述不够精准。
博客
从Eureka到Polaris，好未来AI中台注册中心是如何实现0代码迁移的
12-07 1034
导语：2021年，好未来的AI 中台业务规模激增，日调用量超6亿，总调用量上千亿。业务的快速发展给中台的现有技术架构带来一定的冲击。好未来AI中台是微服务架构，完成一个业务请求涉及多个服务之间相互调用，可以说注册中心的稳定性会直接决定业务调用的成功率。在技术升级过程中，腾讯云和好未来工程师在注册中心模块上，实现了零代码修改从Eureka迁移至北极星PolarisMesh的最佳实践，树立了国内企业在服务发现、服务治理领域的一个新标杆。
博客
腾讯云获国际专业流媒体测评肯定：三大场景下视频编码性能全部最优
07-22 501
视频编码是一种对视频的数字化信息进行压缩的底层核心技术，旨在保持视频主观画质不变的同时，节省视频传输和存储的带宽。视频存储成本、带宽节省比例、视频整体画质（VMAF、PSNR、SSIM和MS-SSIM）、视频画质变化情况（99分位数的VMAF分数）、视频瞬时画质问题（低帧VMAF分数）和视频播放稳定性。发布的云端转码大赛客观测评就显示，腾讯明眸获得H.264编码服务15项指标中的11项第一、H.265编码服务15项指标中的12项第一，以及新一代AV1编码服务的全项指标第一。...
博客
云创平台+播放器SDK，腾讯云音视频新工具助力视频生产、终端能力全面升级
06-29 588
腾讯云音视频围绕在线视频生产和终端播放能力推出新工具——“腾讯云视立方·播放器SDK”和腾讯云创平台2.0，为音视频开发者提供一站式服务，助力各行各业拥抱视频化潮流。
博客
坚持贡献10年，他在开源领域做到了国际顶尖
02-24 912
从技术小白成长为有着Apache member、Apache spark PMC、Apache Livy PPMC等头衔的国际顶级开源大牛，邵赛赛用了十年。在回答是什么让这位鹅厂技术大牛十年如一日贡献开源的时候，他的回答是“爱和坚持”。刚接触Apache开源社区时，邵赛赛时常看着邮件列表陷入迷茫，这种上世纪90年代流行的互联网沟通方式，在20年后已经让新生代的程序员们有些看不懂了。如何订阅、回复还有邮件要发给谁，都是他感到疑惑的问题。更加令他疑惑的还有各种英文缩写，虽然认识每个英文字
博客
腾讯云联合信通院发布《超低延时直播白皮书》，推动直播延时降低90%以上
02-23 457
直播行业的蓬勃发展，推动直播技术的快速演进。2月22日，腾讯云携手信通院联合发布《超低延时直播白皮书》。白皮书指出，随着越来越多线上业务需要大规模并发支持以及强互动体验，超低延时必将成为整个直播产业发展的主要方向。所谓超低延时直播，指的是延时小于1秒的直播技术。据悉，腾讯云作为超低延时直播技术的主导和引领者，首创将WebRTC技术引入直播领域，并首家将直播延时降低到500ms以内。此次《超低延时直播白皮书》的发布，旨在为超低时延直播技术标准化奠定基础，促进超低延时直播技术创新化发展，
博客
OpenCloudOS开源操作系统社区迎来首个正式版本
01-27 3162
1月26日，开源操作系统社区OpenCloudOS宣布发布首个正式版本：OpenCloudOS 8.5。OpenCloudOS 8.5基于Linux内核自主研发设计，其稳定性、安全性、兼容性和性能等核心能力均已得到长时间充分验证。作为可靠的企业级服务器Linux发行版，用户可将OpenCloudOS 8.5直接部署应用到生产系统，降低用户的系统运营成本。2021年底，业界主流的操作系统软件CentOS8已经停止维护，这使得大量用户陷于安全风险中。而OpenCloudOS 8.5的基础库和用户态组
博客
云计算「半步巅峰」
01-13 442
小说里，距离巅峰只差一步之遥的修为，往往被称为“半步巅峰”。1946年，世界上第一台通用电子数字计算机“埃尼阿克”（ENIAC）在美国研制成功，计算的万古长夜破开一道电子之光。60年后的2006年，第一个云计算服务AmazonS3出现，让全球的IT厂商猛然发现，“IOE”并不是IT的巅峰，在此之上，还有更高的境界。Serveless，云计算的巅峰云计算这个概念最早可以追溯到图灵奖获得者约翰·麦卡锡1961年在麻省理工学院百周年庆典上提出的一个“UtilityComputi..
博客
从腾讯云迁移到腾讯云，开心消消乐的云端迁移战事
12-27 2592
这是一段彼此成就，相互欣赏，最后双向奔赴的故事。再没有比一段跨越时空，经历世事蹉跎，最后仍然觉得“有你真好”更刻骨铭心的了。没错，我们今天讲述的就是腾讯云和乐元素之间的一段“十年感情史”。云计算初体验提到乐元素，听过的人可能不多，但是说到开心消消乐，估计无人不知无人不晓。作为一款深受玩家喜欢的国民游戏，开心消消乐自2014年初上线移动版至今，已经多次获得App Store及各大安卓平台精选推荐，下载用户量超8亿，并始终稳固在中国iOS游戏榜单TOP20内。乐元素作为.
博客
11月最值得关注的26个热点
11-30 1152
近年来，实时音视频快速发展，WebRTC作为实时音视频的标准也快速发展，从直播到通讯，其应用场景也在不断丰富。如果您关注实时音视频方向的技术产品应用与创新，本系列文章就将会为您分享音视频方向的技术产品动态，助您第一时间获取业界信息。本文将为你快速解析近期值得关注的技术、产品与行业热点。1.腾讯会议发布3.0版本11月4日，2021腾讯数字生态大会上发布了腾讯会议3.0版本，下面就分享几个小点。•腾讯会议的定位是降低人们达成共识的成本，所以产品设计的时候都是围绕这个点这个点深有感触，人们往
博客
千万并发连接下，如何保障网络性能
11-30 455
过去几十年互联网呈爆发式的增长，内容的丰富以及层出不穷的DDoS攻击等，对网络性能提出了极大的挑战，也同样促进了网络基础设施的快速发展。运营商的带宽越来越大，CPU/网卡等硬件的性能也会越来越强。但在很长时间内，软件的性能提升落后于硬件的性能提升，并严重限制了应用程序的性能，大部分时间不得不依靠堆机器来应对，造成了大量的资源浪费和成本提高。随着软件的不断发展，在新世纪的第一个10年时，通过多线程和事件驱动（kqueue/epoll等）解决了C10K的问题。但是在第二个10年却不堪重负，亟需新的解决方案来
博客
解放人与设备距离，5G时代的远程操控该如何完成
11-30 703
物联网这个概念早在十多年前便已提出，其主要依托于移动通讯网络来实现其功能的传输。在过去物联网领域的一些设备控制场景中，我们或多或少都见到过远程控制技术的身影，但受限于当时的网络条件和技术场景，大部分应用都属于对设备的简单操作，并不会同步太多的现场实时信息。随着通讯技术的不断发展，以及5G技术的出现，智能化的生活也离大家越来越近。5G的出现给移动网络带来了高带宽、低时延、本地分流等新的特性。同时，远程控制作为5G技术的先导，其对于智能化时代具备重要价值，5G可以满足远程控制应用中更多信息的同步需求。可以说
博客
日均请求量1.6万亿次背后，DNSPod的秘密-国密DoH篇
11-30 1224
大家好，我是吴洪声。在2005年的时候，我做了一个和DNS有关的小产品，DNSPod。当时做这样一个产品的背景很简单，那还是一个「南电信北联通（网通）」的时代，相信很多人都会有印象：那个时候你打开一个网站，首先看到的并不是网站的首页，而是一个密密麻麻的「电信1」「电信2」「网通1」「网通2」…，运营商之间互设门槛，最后造成的互访速度下降的结果还是用户来买单。而DNSPod，就是用很优雅的方式解决这个问题，自动把用户分流到对应的服务器，也是因为这个方式让很多朋友们认识了DNSPod，认识了我。对.
博客
微信 ClickHouse 实时数仓的实践之路
11-25 1722
微信作为一款国民级应用，已经覆盖了社交、支付、出行等人们生活的方方面面。海量多样化的业务形态，对数据分析提出了新的挑战。为了满足业务数据分析的需求，微信WeOLAP团队联手腾讯云，共建千台规模、数据 PB 级、批流一体的 ClickHouse 数据仓库，实现了10倍以上的性能提升。下文将由浅入深，为大家揭晓微信在 ClickHouse 实时数仓实践中积累的经验及方法。
博客
100G云服务器诞生记
11-15 624
黄色的树林里分出两条路，而我选择了人迹罕至的一条，从此走出了这迥异的旅途。——弗罗斯特从25数到100，普通人只需要几十秒，从25G到100G，腾讯云用了10个月。随着腾讯云100G云服务器的全量发布，在云服务器市场，腾讯云从跟进到引领，再到如今真正淌入无人区，腾讯技术人在云服务器领域走出了一条属于自己的康庄大道。这一切在一年前，还只是一个设想。纠结：50G还是100G？按照目前云服务器市场普遍的行情，从25G直接上到100G的还没有先例，稳妥的做法是从.
博客
TDSQL inside之路
09-06 383
“力争让每一张钱都能打上TDSQL inside的标签”，距离潘安群在自己的朋友圈立下的这个flag，已经6年。8月26日，在看到相关新闻之后，激动之余的老潘在朋友圈这样写道：“2016年第一次去人行立下的flag，今年要实现了”，并且附上了6年前的朋友圈截图，下面是众多同事和领导的感叹和祝福。我们素人无法理解一个技术老兵对于TDSQL的溺爱，就像我们无法理解年轻人对于爱情有多么渴望。这一天，距离老潘等第一次去现场技术交流，已经过去整整2190天。硬着头皮也要往前冲
博客
从动物科学到乐队鼓手，腾讯技术小哥的开源人生
08-25 660
“要么孤独，要么庸俗”在孤独和庸俗之间，王炜选择了开挂。小学三年级开始学编程，爱打游戏，为了上网省钱，攻破网吧计费系统；因为喜欢小动物，大学时期选择抛弃自己擅长的计算机，选择冷门的动物科学，业余时间参加乐队，成功追到了乐队主唱；为了发家致富，在大学二年级自己创业开发外卖系统，后期做成SaaS自己寻找客户售卖，超前性的以云的模式赚到了人生的第一桶金，在武汉实现了买房自由。一路走来，王炜用活生生的案例，无时无刻不在提醒着我，彪悍的人生不需要解释。和王炜在深圳南山的比克大厦见了..
博客
腾讯云发布“创新成长快线”，首期向创业者赠送10亿分钟实时音视频时长
04-23 371
面对转瞬即逝的创新机遇，开发者们渴望在云上快速起步。在腾讯“推动可持续社会价值创新”战略背景下，腾讯云近日宣布推出“创新成长快线”计划，投入全线云产品资源，为创新创业个人或团队提供产品+内容+生态的一站式支持。“创新成长快线”以实时音视频、云开发、数据库等腾讯云重点行业产品为核心扶持资源，配套提供云服务器、存储、网络、安全等最多300余项云产品，总价值达到数千万元。同时，开发者们可以享受云+社区、腾讯云大学行业赛道成长内容与课程。入选团队更有机会获得云+创业、V+俱乐部、云原生加速器等战投加速器资.
博客
腾讯视频云勇夺云端视频转码大赛多项第一
02-25 984
2021年2月21日，莫斯科国立大学（Moscow State University）举办的MSU云端视频转码大赛(Cloud Video Transcoding Services Comparison)成绩揭晓， 由腾讯内部开源协同的O264/V265编码器助力的视频云媒体处理(TencentMedia Processing Service)业务，一举拿下H.264和H.265的视频转码质量、视频转码质量/转码速度(Best speed/quality trade-off)、视频转码...
博客
今天，你成为这1/1000000了吗
12-01 1847
2018年的夏天，除了烟把儿乐队的《纸短情长》之外，腾讯云联合微信还悄悄上线了云开发。这款产品后来在开发者群体中的受欢迎程度，丝毫不亚于都市男女手机中的《纸短情长》不知道从什么时候开始，敲代码已经成为开发者的代名词，但是事情正在发生变化。一场关于开发者的变革正在发生，你我，还有正在看这篇文章的读者就是这个变革的见证者。不吹不黑，小程序的诞生，让程序员走向小程序员，云开发的诞生，让人人做开发的梦想遍地开花。因为云开发，从今天起，人人都是开发者的时代来临了。今天...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值