- 博客(287)
- 收藏
- 关注
RSS订阅原创 从 Greenplum 到 Databend，数据仓库的开源新选择
万全网络的迁移过程包括了数据库架构优化、迁移过程的集成与优化、查询优化和性能提升、测试与回退策略以及迁移中的挑战与解决方案。迁移完成后，万全网络在查询性能、数据导入/导出速度、存储效率、用户体验和成本效益等方面取得了显著成果。万全网络团队在 4 个月中，成功完成了整个业务系统的迁移工作，涵盖了 4 个业务线，共计近 500 张表和 600 个任务的迁移任务。万全网络的案例表明，Greenplum 的闭源虽然带来了挑战，但也为 Databend 等新兴数仓供应商提供了机遇。
2024-09-10 15:57:44
1289
1
原创 Databend 产品月报（2024年8月）
很高兴为您带来 Databend 2024 年 8 月的最新更新、新功能和改进！我们希望这些增强功能对您有所帮助，并期待您的反馈。
2024-09-05 16:48:39
1381
原创 Databend Meta-Service 架构概述
Databend 的 meta-service 采用基于 Raft 的分布式架构,实现了高可用性和数据一致性。其核心组件包括分布式日志和状态机,通过精心设计的写入和读取流程,确保了数据操作的可靠性。使用 Raft 日志中的时间戳来提供一致的时钟,解决了分布式系统中的时间同步问题。支持灵活的节点管理和数据更新操作,包括单条数据更新(upsert)和多条数据更新(transaction)。采用全局序列号机制,为实现可靠的比较并交换(CAS)操作提供了基础。
2024-09-03 09:24:42
1329
原创 Kafka 到数据仓库：使用 bend-ingest-kafka 将消息加载到 Databend
JSON模式：此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。RAW模式：在此模式下，该工具会创建一个包含uuidkoffsetkpartitionraw_data和add_time等列的表。Kafka 消息存储在raw_data列中，并将其他元数据注入到其他列中，从而保留原始消息格式并提供有用的上下文。有关 bend-ingest-kafka 的更多详细信息，请查看README。
2024-08-29 17:19:59
996
原创 解析云上实时数仓的挑战与实践 | Databend @DTCC 2024 演讲回顾
8 月 22 日 ~ 24 日，由 IT168 联合旗下 ITPUB、ChinaUnix 两大技术社区主办的第 15 届中国数据库技术大会（DTCC2024）在北京朗丽兹西山花园酒店成功召开。本次大会以“自研创新 数智未来”为主题，通过深度交流与探讨，推动数据库技术的自主创新和数智化转型。作为一家技术领先的数据仓库服务商，Databend 也在本次大会亮相。近年来，IT 技术迅猛发展，尤其是大数据领域更是日新月异。
2024-08-29 14:33:05
869
原创 Meetup 回顾:存算引擎一体化建设
在大数据与人工智能时代，数据的生成和存储量呈指数级增长。企业面临着如何高效处理和分析海量数据的巨大挑战。在面对如此规模的数据时，数据库究竟该选择存算一体，还是存算分离架构？如何才能提升资源利用率、扩展性，降低运维成本，这是数据从业者都在思考的问题。在第 20 期 Data Infra 研究社直播活动中，我们邀请到 Databend Labs 联合创始人-吴炳锡、OPPO 存储团队文件系统负责人, CubeFS Maintainer -常亮、OPPO 对象存储研发工程师, CubeFS ObjectSto
2024-08-19 17:30:47
525
原创 在 Confluent Cloud 上使用 Databend Kafka Connect 构建实时数据流同步
Confluent 提供了一个 connector hub，在这里可以找到所有已经内置到 Confluent Cloud 中的 Connector。对于没有内置的，Confluent 支持创建自定义 connector。通过以上步骤，我们就可以在 Confluent Cloud 与 Databend Cloud 之间，使用 Databend Kafka Connector 构建起二者之间的实时数据同步管道。
2024-08-07 09:43:47
757
原创 生成式 AI 时代的数据库：Databend 与大模型的融合探索
生成式 AI 时代的到来，为数据技术的发展带来了新的机遇和挑战。通过深入融合生成式AI技术，数据库可以在数据存储、处理和分析方面实现更高的性能和智能化。然而，面对数据质量、计算资源、模型解释性和隐私安全等问题，我们仍需不断探索和创新。未来，随着技术的不断进步和应用的广泛推广，生成式 AI 与数据库的融合必将带来更多的可能性和变革。以上就是 Databend 在与大模型融合探索中的一些经验和成果，希望对大家有所启发，欢迎提出问题和讨论。
2024-07-31 12:04:39
968
原创 利用 Databend 生态构建现代数据湖工作流
现代数据湖的典型特征之一是能够灵活和高效地利用云上的基础设施，并且使用对象存储作为数据的存储方案。作为一款云原生、湖仓一体的数据管理系统，Databend 基于对象存储进行设计，存算分离的架构进一步匹配云上计算资源灵活调度的模式，现代 MPP 架构和充分的优化能够充分释放算力。
2024-07-25 12:10:32
940
原创 ⾯向现代分层存储的 Caching 技术漫谈｜Data Infra 研究社第十九期（含资料发布）
上周六（7月13日），第 19 期 Data Infra 研究社直播活动与大家见面了。本次活动我们邀请到了 Databend 研发工程师-尚卓燃，为大家带来了一场主题为《面向现代分层存储的 Caching 技术漫谈》的分享。通过卓燃的分享，我们深入理解了面向现代分层存储的 Caching 技术，并学习了机器学习如何影响缓存的设计与应用。本次活动回放可在 B 站上找到： 🔗《 面向现代分层存储的 Caching 技术漫谈》
2024-07-18 18:15:53
645
原创 Databend 完美适配 KubeSphere 企业版 4.1.1，让云原生技术更普及
KubeSphere 企业版 4.1.1 目前已经正式发布，推出「在线订阅」模式，致力于让云原生技术更加普及和可负担，以惠及更多中小企业。现在，中小企业每年仅需支付￥1500 起，即可获得近千家企业生产环境验证、多重安全与防护加固，并提供专家级在线支持的商用云原生操作系统，大幅降低采用云原生技术的初始成本。
2024-07-16 17:09:41
873
原创 从 Icelake 到 Iceberg Rust
本文作者丁皓是Databend 研发工程师，也是开源项目 OpenDAL 作者，主要研究领域包括存储、自动化与开源。
2024-07-11 17:20:14
971
5
原创 使用 bend-ingest-kafka 将数据流实时导入到 Databend
bend-ingest-kafka 作为一个强大的工具，为 Databend 用户提供了从 Kafka 实时导入数据的能力。通过本文的介绍，用户应该能够快速上手并利用这个工具来实现实时数据处理的需求。
2024-07-03 14:52:14
838
原创 Databend 怎么看 OpenAI 收购实时数仓 Rockset？
6月21日(上周五)，OpenAI 官方宣布完成对实时分析数据库 Rockset 的收购，一时引起数据库圈和 AI 圈热议，很多朋友也来询问 Databend 如何看待这个事件。这次收购表明了市场对实时数据分析和数据处理解决方案的高度重视，数据是 AI 发展的核心要素，拥有强大的数据处理能力将帮助 OpenAI 能够更好地将数据与 AI 技术进行深度融合。作为新一代云原生数据仓库服务商，我们也很高兴看到分析型数据（OLAP）能够推动 AI 技术的进一步发展。
2024-06-27 10:41:18
700
原创 SaaS 出海：Databend Cloud 的定位与实践
提到 “SaaS 出海”这个词大家肯定并不陌生，SaaS 企业将业务拓展到海外市场已经成为许多 SaaS 公司的重要战略方向。随着企业对于灵活性、可扩展性以及成本效益需求的不断增长， SaaS 模式提供了理想的解决方案。对于寻求出海机会的 SaaS 企业来说，全球化市场的巨大潜力尤为吸引人。在许多地区，尤其是发展中市场， SaaS 服务的普及率还远远没有饱和，这也为企业提供了非常广阔的成长空间。随着全球数字化转型的不断加速， SaaS 服务需求也在持续增长。
2024-06-26 10:52:31
935
原创 Databend 开源周报第 150 期
为简化用户操作、提高效率，并确保函数的一致性和安全性。Databend 计划支持内置外部用户自定义函数（External UDFs）的能力。这些自定义函数也将有助于用户应用最佳实践，更好满足不同业务场景的需要。如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review。或者，你可以点击来挑选一个随机问题，祝好运！
2024-06-25 14:34:47
802
原创 Toco x Databend：Databend Cloud 如何满足 Web3 大数据服务的严苛考验？
Toco 是一家位于瑞士的 Web3 服务提供商，致力于通过彻底改变全球金融体系的陈旧观念来应对气候变化。他们提供了一种开创性的碳货币 Tocos，每个流通中的 Tocos 代表一吨二氧化碳当量，存储在安全可靠的数字钱包中。用户可以使用 Tocos 应用轻松地将当地货币兑换为 Tocos，然后使用 Tocos 消费、储蓄或交易。每次用户使用 Tocos 进行日常交易时，都在通过推动对更多碳去除的需求来采取积极的气候行动。
2024-06-24 10:09:39
611
原创 Databend 开源周报第 149 期
Databend 支持外部用户定义函数，为复杂的数据处理和分析提供了灵活、高效的解决方案。但是目前还不支持递归调用外部 UDF ，我们计划支持这一特性，以进一步提高 UDF 对各种场景的适应性。bendml_embed_text_768('今天天气怎么样?'),')如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review。或者，你可以点击来挑选一个随机问题，祝好运！
2024-06-18 09:58:37
1322
原创 在 Kubesphere 中开启新一代云原生数仓 Databend
上周六，由 KubeSphere 社区联合 Databend 社区以及纵目科技共同组织的云原生 Meetup 北京站在北京圆满落幕。本次 Meetup 活动邀请到了 SkyWalking PMC 成员、青云科技架构及可观测性团队负责人、江苏纵目科技 APM 研发总监、青云科技容器产品经理、数元灵科技 CTO 以及 Databend 云平台负责人等专家和大咖，为小伙伴们带来精彩的技术分享。Databend Labs 云平台负责人李亚舟。
2024-05-30 09:55:52
1000
1
原创 Databend 倒排索引的设计与实现
倒排索引是一种用于全文搜索的数据结构。它的主要功能是将文档中的单词作为索引项，映射到包含该单词的文档列表。通过倒排索引，可以快速准确地定位到与查询词相匹配的文档列表，从而大幅提高查询性能。倒排索引在搜索引擎、数据库和信息检索系统中被广泛应用。
2024-05-23 11:29:09
747
原创 对话 Databend Labs 联合创始人王吟：大模型浪潮里，云数仓是宠儿 | 极新企服直播实录
大家好，我是 Databend 的联合创始人王吟，Databend 是一家开源 Data Cloud 服务商，核心团队成员来自 ClickHouse 社区、谷歌 Anthos、阿里云、青云等国内外知名互联网和云计算公司，团队在云原生数据库领域有着丰富的工程经验，研发人员分布在中、美两地，同时也是数据库开源社区活跃贡献者。Databend 在开源领域很多项目做了贡献，包括 ClickHouse、MySQL 内核、RadonDB 等。
2024-05-16 10:13:19
675
原创 成本降低 90%，出海社交平台 Typing 基于 Databend 的大数据探
Typing（输入中科技）成立于 2022 年，是一家主要面向东南亚、拉美、中东等海外地区提供社交平台的出海企业。其社交平台类似于国内的 Soul、陌陌等，提供视频直播、语音聊天室、短视频、生活分享、文字聊天等社交功能，注册用户超百万，日活用户数十万。人们可以在平台内认识有趣的人，结交新朋友，还可以建立自己的社交社区。
2024-05-09 19:05:29
428
原创 DTC 2024，Databend 数据汇聚平台的建设与挑战
近日，第十三届数据技术嘉年华（DTC 2024）在北京新云南皇冠假日酒店落下帷幕。本届大会以“智能·云原生·一体化——DB 与 AI 协同创新，模型与架构融合发展”为主题，汇聚了 80 余位杰出技术领袖、学术精英、行业实践者、生态布道者，带来了多场精彩绝伦的主题演讲。Databend Labs 联合创始人吴炳锡也在本届 DTC 盛会上，带来了主题为《数据汇聚平台建设及挑战》的精彩演讲。Databend Labs 联合创始人吴炳锡。
2024-04-24 10:17:11
1179
原创 Databend Cloud 正式上线腾讯云市场，加速挖掘数据创新价值
近日，新一代大数据分析平台 Databend Cloud 正式上线腾讯云千帆云市场，成为腾讯云 SaaS 生态圈中的重要一员。依托腾讯云平台的技术支持和市场资源， Databend Cloud 将充分发挥数据价值的挖掘能力，助力更多企业实现数据驱动的决策运营。Databend Cloud 是一款基于开源云原生数仓项目 Databend 打造的易用、低成本、高性能的新一代大数据分析平台，提供一站式 SaaS 服务，具有免运维、开箱即用等特点。
2024-04-18 10:19:05
1109
原创 Databend 开源周报第 140 期
查询摘要是对查询的总结，如果两个查询的摘要相同，这意味着它们共享相同的模式。通过检查各自的查询摘要，可以确定哪种查询模式耗时更多，有助于优化数据库性能和资源利用。如果你对这个主题感兴趣，可以尝试解决其中的部分问题或者参与讨论和 PR review。或者，你可以点击来挑选一个随机问题，祝好运！
2024-04-16 18:03:25
1120
原创 数据安全之路：Databend 用户与角色管理应用
通过权限和角色管理，Databend 提供了一个灵活数据安全管控框架。使得用户按照自己的需要高效地管理数据访问和操作权限。确保数据的安全性和完整性。
2024-04-11 14:19:16
1029
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人