- 博客(22)
- 收藏
- 关注
RSS订阅原创 在离线统一调度器 Gödel Scheduler 性能优化: 算法设计思想与数据结构应用
本文将以几个经典优化为例，阐述基于这些构思所衍生的算法设计思想与数据结构应用，说明其对提升 Gödel Scheduler 调度性能并最终解决实际问题所发挥的巨大作用。
2024-09-26 14:41:23
639
原创 字节跳动冯佳时：大语言模型在计算机视觉领域的应用、问题和我们的解法
字节跳动研究科学家、豆包大模型视觉基础研究团队负责人冯佳时介绍字节跳动视觉基础研究团队在这个方向的探索与进展，包括 LLMs 在图像理解与视频生成上的阶段性结果。
2024-09-18 17:03:46
868
原创 字节跳动开放计算最佳实践，亮相 2024 开放计算中国峰会
8 月 8 日，由两大开放计算组织 OCP（Open Compute Project）与 OCTC（开放计算标准工作委员会）联合主办的主题为 “开放协同：协作、智慧、创新” 的 2024 开放计算中国峰会在北京举行，以期与全球开放计算领域的社区和企业领袖、技术专家以及行业先锋，共同探讨新时代开放计算技术的最新进展和实践经验，促进生态融合、智能化实践和技术创新。而随着人工智能、大模型的爆发，传统的计算正在朝着多模态、多元算力等智能计算融合发展，如何进一步实现生态协同、开放共赢，对开放计算提出了新的要求。
2024-09-14 16:27:14
626
原创 完整的数仓能力，ByConity 1.0 版本发布！
在传统的数据分析架构中，这部分工作是由 Hive、Spark、Flink 等产品来完成的。二、增加了对 task 重试的支持：通过设置 bsp_max_retry_num（task的最大重试次数，默认值为5），可以在作业的中间 task 发生失败时，从失败的 task 开始重试，而不是从头开始重试，进而大大减少 failover 对执行时长的影响。ByConity 是字节跳动开源的云原生数据仓库，在满足数仓用户对资源弹性扩缩容，读写分离，资源隔离，数据强一致性等多种需求的同时，提供优异的查询，写入性能。
2024-09-10 17:42:43
715
原创 Rspack 1.0 发布了！
近两年，社区中涌现出多个基于 Rust 的 bundler，它们的性能表现都相当优异。Rspack 在确保卓越性能的同时，也在灵活度、兼容性等方面做到了社区领先。Rspack 当前的目标是：帮助现有的 webpack 项目渐进地迁移到高性能的 bundler 上，使构建性能不再成为项目迭代的瓶颈；
2024-09-06 16:36:36
1259
原创 开源活动预告｜抖音集团专家聚焦电商、PB级实时场景带来数据技术分享
8 月 31 日 13:30，Apache Doris x 字节跳动开源联合 Meetup 北京站即将开启。
2024-08-30 12:36:49
207
原创 CausalMatch v0.0.1正式发布！字节跳动开源因果推理利器，助力科学决策分析
因此我们需要用匹配的方法，为报名了活动的商家1和商家3在未报名活动的商家中寻找相似商家 - 商家1需要在“报名前7日无登陆抖店”的商家中搜寻对照组、商家3需要在“报名前7日有登陆抖店”的商家中搜寻对照组。在这种情况下，如何科学的估计策略效应成了数据分析或者数据科学团队的一个挑战。因此我们将日常业务中应用最广泛的因果效应估计方法 —— 匹配，进行了理论梳理，并开发了一套专注于匹配的轻量化因果关系分析工具 CausalMatch，为使用该方法来做决策分析的业务场景构建一套流程性且规范化的分析框架。
2024-08-28 14:03:44
587
原创 字节云原生数仓 ByConity 开源一周年！听听 Committer 们怎么说
通过和几位 committer 的沟通，我们发现他们对于想参与社区的同学给出了几乎类似的建议。兴趣驱动和业务驱动是两个主要方面，但是只有先用起来，才会发现问题，并通过在社区上寻求帮助或反馈问题逐渐加入社区。同时也非常欢迎大家把使用或者迁移经验分享到社区，并通过丰富社区生态，让 ByConity 社区逐渐壮大。–END–
2024-08-06 18:12:32
744
原创 打造运营商实时分析平台——浩鲸科技 ByConity 应用实践
借助 ByConity 的能力，WhaleHouse 成为一款极速全场景 MPP 企业级数据库产品，具备水平在线扩缩容，兼容 MySQL 和 ClickHouse 等语法协议，提供全面向量化引擎与多种数据源联邦查询等重要特性，致力于在全场景 OLAP 业务上为用户提供统一的解决方案，适用于对性能、实时性、并发能力和灵活性有较高要求的各类应用场景。传统的 MPP 的数据库很困难扩缩容，例如 ClickHouse 和 GP，如果扩展主机，则会导致数据的重新分布，造成生产环境业务中断。原始数据包含数以千计的表。
2024-08-01 12:30:03
604
原创 字节跳动开源多云多集群管理引擎 KubeAdmiral v1.0.0 发布！
KubeAdmiral 是字节跳动于 2023 年 7 月正式开源的多云多集群管理引擎，它孵化于字节跳动内部，从上线至今一直强力支撑抖音、今日头条等大规模业务的平稳运行，目前管理着超过 21 万台机器、超过 1000 万 Pod。自正式开源以来，KubeAdmiral 自身也经历了不断发展和完善，在系统功能、扩展性、稳定性和运行效率均有大幅提升，也吸引了业界最终用户的使用和贡献。
2024-08-01 12:22:33
1014
原创 ByConity 助力烽火星空架构优化，产品性能平均提升 3 倍
ByConity 是字节跳动开源的云原生数据仓库，在满足数仓用户对资源弹性扩缩容，读写分离，资源隔离，数据强一致性等多种需求的同时，提供优异的查询，写入性能。GitHub ｜作者｜殷鹏，烽火星空，大数据开发工程师烽火星空（文中简称“烽火”）在搭建其 HSAP 数据库 FMDB 的过程中遇到了高并发场景下查询性能不理想，并且某些查询 SQL 有长尾现象等问题。
2024-05-23 11:53:02
1033
原创 Katalyst v0.5.0 发布：进一步解耦，进一步优化
是字节跳动开源的成本优化实践系统，致力于解决云原生场景下的资源不合理利用问题，为资源管理和成本优化提供解决方案。来源 | KubeWharf社区项目 | github.com/kubewharf/katalyst-core经过几个月时间的开发测试工作，Katalyst 近日完成了 v0.5.0 版本的发布。在该版本中，我们解耦了 Katalyst 常态混部能力对 kubewharf enhanced kubernetes 的依赖，用户可以在原生 Kubernetes 上安装和使用 Katalyst；
2024-05-22 11:40:34
911
原创 字节跳动下一代通用高性能 OneAgent
本文介绍了字节跳动云原生可观测团队在构建 OneAgent 方面的探索，涉及数据模型、流程管道、编排调度和构建体系等方面，还分享了 OneAgent 在字节跳动内部的几个应用案例，展示了其在数据采集效率、资源消耗和系统稳定性方面的优势。
2024-05-09 17:15:37
1461
1
原创 字节开放模型 Hyper-SD，最快 1 步生成 SOTA 级图片（有demo 来试试
论文提出了 Hyper-SD，一个统一的扩散模型加速框架，可以显著提升扩散模型的在低步数情况下的生成能力，实现基于 SDXL 和 SD15 的新 SOTA 性能。该方法通过采用轨迹分段一致性蒸馏，增强了蒸馏过程中的轨迹保存能力，实现接近原始模型的生成效果。然后，通过进一步利用人类反馈学习和变分分数蒸馏提升模型在极端低步数下的潜力，从而产生了更优化、更高效的模型生成效果。
2024-04-28 15:08:54
691
原创 SoCC 论文解读：字节跳动如何在大规模集群中进行统一资源调度
不一样的是，为了支持更大规模的集群和提供更高的调度吞吐，它的 Scheduler 组件可以是多实例的，采用乐观并发调度， Dispatcher 和 Binder 则是单实例运行。未来，编排调度团队会继续推进 Gödel 调度器的扩展和优化工作，进一步丰富调度语义，提高系统响应能力，降低多实例情况下的冲突概率，并且会在优化初次调度的同时，构建和加强系统重调度的能力，设计和开发 Gödel Rescheduler。但当实例数超过 5 个后，性能有所下降，原因是实例越多，实例间的冲突越多，影响了调度效率。
2024-04-19 09:31:52
1246
原创 字节跳动开源 Gödel Scheduler：在离线统一调度器
作为字节跳动在离线混部场景中最核心的调度系统，Gödel 提供丰富的资源 QoS 管理能力，可以统一调度在线和离线应用，极大提升资源利用率。
2024-04-17 14:01:02
796
1
转载 自回归超越扩散！北大、字节 VAR 范式解锁视觉生成 Scaling Law
VAR 为如何定义图像的自回归顺序提供了一个全新的视角，即由粗到细、由全局轮廓到局部精调的顺序。在符合直觉的同时，这样的自回归算法带来了很好的效果：VAR 显著提升自回归模型的速度和生成质量，在多方面使得自回归模型首次超越扩散模型。
2024-04-15 15:43:07
165
1
原创 1024 分辨率下最快模型，字节跳动文生图开放模型 SDXL-Lightning 发布
很高兴跟大家分享我们最新的文生图模型 —— SDXL-Lightning，它实现了前所未有的速度和质量，并且已经向社区开放。
2024-02-23 19:08:22
1208
转载 新增 2 开源项目进入 CNCF 云原生全景图
它由 CNCF（Cloud Native Computing Foundation，云原生计算基金会）维护和更新，旨在为用户提供一个全面的视图，帮助云原生用户了解云原生生态系统中的各种工具、框架、平台和服务。以及基于预测算法推荐更符合实际业务需求的 Request 配置，防止资源过度占用的规格推荐等解决方案，企业可以结合具体的业务场景进行选择或搭配使用。通过查看 CNCF 全景图，用户可以了解到云原生技术的发展趋势和最新动态，同时也可以找到适合自己的工具和框架，以构建高效、可扩展和安全的云原生应用程序。
2024-02-22 11:30:33
112
1
原创 ByConity 替换 ClickHouse 构建 OLAP 数据平台，资源成本大幅降低
本文将主要介绍 MetaApp 数据分析平台的功能，业务场景中遇到的问题及解决方案以及引入 ByConity 对其业务的帮助。
2024-02-21 17:08:16
1085
转载 Katalyst v0.4.0 发布：潮汐混部与资源超分
是字节跳动开源的成本优化实践系统，致力于解决云原生场景下的资源不合理利用问题，为资源管理和成本优化提供解决方案。来源 | KubeWharf 社区项目 | github.com/kubewharf/katalyst-core近日，Katalyst 社区完成了 0.4.0 版本发布。除了持续优化 QoS 能力之外，我们还在新版本中提供了可以独立在原生 Kubernetes 上使用的潮汐混部和资源超售能力。
2024-01-29 10:58:24
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人