• 博客(46)
  • 收藏
  • 关注

原创 理想汽车 x StarRocks:为 Hive 数据查询插上极速之翼

成功将 Hadoop 集群的存储和计算进行解耦,并以极低学习成本构建实时分析

2022-04-15 13:31:11 3407 1

原创 阿里云强力贡献:如何让 StarRocks 做到极速数据湖分析

StarRocks是一个强大的数据分析系统,主要宗旨是为用户提供极速、统一并且易用的数据分析能力

2022-04-13 16:33:46 818

原创 众安保险 x StarRocks | 全新实时分析能力开启数字化经营新局面

针对实时数仓的高须更新场景,StarRocks 的 PrimaryKey 模型能很好地解决 ClickHouse 的 Replacing 引擎遇到的一些痛点。

2022-04-07 18:12:26 5739

原创 We are learning by contributing | 访 StarRocks Committer 周康、冯浩桉

StarRocks 社区进阶指南

2022-04-01 14:05:43 2008

原创 大数据自动管理,24 小时服务无间断,StarRocks 如何做到?

一些关于 StarRocks 管理海量数据、提供高可用服务等方面的工作和思考

2022-03-30 10:50:07 340

原创 万字详解 | 搜狐智能媒体基于 Zipkin 和 StarRocks 的微服务链路追踪实践

基于 Zipkin+StarRocks 构建链路追踪系统,能够提供微服务监控的 Monitoring 和 Observability 能力,提升微服务监控的分析能力和工程效率。

2022-03-28 12:06:30 671

原创 华米科技 x StarRocks:让智能穿戴数据焕发新活力

华米将把更多业务接入 OLAP 平台,推动 StarRocks 落地并服务于智能可穿戴健康业务。

2022-03-25 16:58:03 2904

原创 “StarRocks 极客营” 来袭,一起推开数据库梦想之门

30+ 开发任务供你 pick!Are you ready?

2022-03-21 18:05:59 911

原创 StarRocks 2.1 新版本特性介绍

支持 Apache lceberg 外表,发布 Pipeline 执行引擎,支持多达 10000 列的表,优化首次 Scan 和 Page Cache 的性能,支持 SQL 指纹等。

2022-03-15 10:06:10 3804

原创 如何打造极速数据湖分析引擎

阿里云 EMR 开源大数据 OLAP 团队 × StarRocks 社区数据湖分析团队

2022-03-09 17:55:09 345

原创 同人于野,平常无边 | 对话 StarRocks 的三位女性工程师

献给这个庆祝女性在公共领域作出贡献并表达自我的节日

2022-03-08 18:06:27 510

原创 金融数据查询增速三倍,服务器成本减半,海尔云链的 OLAP 引擎选型之路

离线处理上,海尔云链将逐步用 StarRocks 来统一 OLAP 分析全场景

2022-03-08 10:22:44 343

原创 StarRocks Contributor 人数破百,极速统一,你我协力

Commit 1600+, Star 2.2K, Fork 400+

2022-02-25 14:34:11 1055

原创 StarRocks 2.0 正式发布

StarRocks 2.0,新一年,新启航,新极速!

2022-01-05 15:24:04 394

原创 StarRocks 构建广告数据中心的实践

通过 StarRocks 简化了数据链路之后,在可用性上可以操作的空间也比较大了。目前线上做了主备双链路的建设。在业务做变更的时候,对下游的服务是无感知的。同时借助 StarRocks 弹性扩展的能力,如果业务量或是请求量有增加,也可以动态的去扩容来满足需求。基于这样一个双链路,还可以做一个数据的自校验,来保证整个数据的质量。

2021-12-23 16:29:59 1253

原创 应用StarRocks实现存储引擎的收敛,保障高查询并发及低延迟要求

多点从2021年上半年开始调研引入 StarRocks,当前已有四个集群在稳定运行提供线上服务,逐步替代了 Impala、Impala on Kudu、Apache Kylin 等存储引擎,实现了存储引擎的收敛,简化了实时数据处理链路,同时也能保障较高的查询并发以及较低的响应延迟要求。目前公司也在越来越多的业务中尝试使用 StarRocks。

2021-12-15 17:20:05 2362

原创 信也科技 x StarRocks:打造统一销售数据平台

StarRocks 作为新一代极速全场景 MPP 数据库,实现了统一存储,统一服务,并且在多种场景下表现出色。数仓体系升级加速, 提升用户极速体验,探索使用StarRocks打造实时数仓和离线数仓融合和一体化建设。

2021-12-06 16:23:12 389

原创 汽车之家 x StarRocks:极速实时数据分析实践

汽车之家(NYSE:ATHM)成立于2005年,为消费者提供优质的汽车消费和汽车生活服务,助力中国汽车产业蓬勃发展。我们致力于通过产品服务、数据技术、生态规则和资源为用户和 客户赋能,建设“车内容、车交易、车金融、车生活” 4个圈, 建立以数据和技术为核心的智能汽车生态圈,正式迈向智能化的3.0时代。汽车之家目前在智能推荐的效果分析,物料点击、曝光、计算点击率、流量宽表等场景,对实时分析的需求日益强烈。经过多轮的探索,最终选定 StarRocks 作为实时 OLAP 分析引擎,实现了对数据的秒级实时分析。

2021-11-26 15:15:34 2171

原创 顺丰科技 x StarRocks :双十一实时运单分析实践

顺丰科技有限公司隶属于顺丰速运集团,成立于2009年,致力于构建智慧大脑,建设智慧物流服务。顺丰科技经过多年的自主研发,已经建成大数据整体生态系统,完成数据采集与同步、数据存储与整合、数据分析与挖掘、机器学习、数据可视化等平台的构建。在建设底盘平台的基础上,结合大数据、区块链、物联网与人工智能技术,广泛应用于速运、仓储、冷运、医药、商业、金融、国际等业务领域。“ 作者:严向东,顺丰科技大数据平台架构师 ”顺丰大数据平台简介早期顺丰在 OLAP 层主要使用了 Elasticsearch、Cli

2021-11-24 17:46:12 2151

原创 StarRocks Hacker Meetup 小记 Part 2|实时更新场

StarRocks Hacker Meetup 是 StarRocks社区组织的面向开发者的线下活动,旨在通过面对面的交流帮助开发者深入了解 StarRocks核心功能的实现原理,和开发者共同探讨数据库领域的前沿技术。第一季 Hacker Meetup 共4期,将持续2个月,每两周探讨一个 StarRocks 的核心功能。欢迎大家持续关注。第三期Hacker Meetup 将在12月4日与大家见面!上周六,StarRocks Hacker Meetup 实时更新专场如期而至,除了各位老朋友外,现场又.

2021-11-24 10:20:55 396

原创 小米 x StarRocks:极致性能打造小米式性价比数据平台

小米有品是小米旗下精品生活电商平台,也是小米“新零售”战略的重要一环。依托小米生态链体系,延续小米的“爆品”模式,致力于将“小米式的性价比”延伸到更广泛的家居生活领域。有品数据中心主要负责有品电商的数据资产,提供数据分析服务。数据分析帮助做出有效决策,有效决策促进业务增长,业务增长需要更多的数据分析,形成闭环。“ 作者:汪细勖,小米高级研发工程师陈亦奇,小米有品研发工程师 ”历史架构及业务痛点受限于以往业务规模以及技术条件,曾经的小米数据中心的架构如下图:业务数据和流量数据通过数据采集服务

2021-11-19 10:54:23 2542

原创 Lenovo x StarRocks:简化数据处理链路,极大提升BI分析效率

Lenovo联晟智达隶属于全球PC领导厂商联想集团,致力于打造科技驱动、柔性敏捷、服务体验一流的智慧物流生态平台,面向产业端企业提供综合物流解决方案,成为服务于中国及全球客户的智能供应链科技企业。联晟智达大数据团队逐步引入了多种OLAP分析引擎来更好的满足需求。StarRocks从众多的OLAP分析引擎中脱颖而出,它采用了全面向量化的计算技术,是性能非常强悍的新一代MPP数据库。通过引入StarRocks,构建了全新的统一数据服务平台,大大降低了数据链路开发复杂性,极大提升了BI分析效率。“作者:韩文博

2021-11-11 15:22:13 428

原创 这个深秋,StarRocks喊你一起来撸码 | StarRocks Hacker Meetup 报名开启

Hacker Meetup距离 StarRocks 开放源代码已经快两个月了,不知道你是否已经「撸」过一遍源码了呢?这个深秋,我们推出了「StarRocks Hacker Meetup 」 Season 01,旨在通过面对面的交流帮助开发者深入了解StarRocks核心功能的实现原理,和开发者共同探讨数据库领域的前沿技术。本季系列 Meetup 共4期,将持续2个月,每双周探讨一个 StarRocks 的核心功能,欢迎大家持续关注。每期参与 Meetup 的小伙伴都会收到一份精美 Hacker 纪念礼

2021-11-02 10:36:56 151

原创 Meetup No.2 | 用户画像方法探究 & StarRocks在学而思1对1实时数仓中的实践

时间:2021 年 10 月 14 日,周四 19:00-21:00主题一:用户画像方法探究(19:00 - 20:00)**演讲嘉宾:**谢寅,StarRocks解决方案架构师内容简介:StarRocks 作为新一代全场景MPP数据库,在多维报表查询、自助BI分析、Adhoc即席查询等OLAP场景的良好表现已被众多客户验证和实践。随着各行各业数据体量的不断增长,精准营销、ABTest、金融风控等用户画像的应用场景也层出不穷。如何基于StarRocks快速高效的从海量明细数据完成客群圈选和统计分析变

2021-10-12 18:34:01 229

原创 携程 x StarRocks:高效支持高并发查询,大幅降低人力和硬件成本

携程是全球领先的一站式旅行平台,现有员工约30000人,公司旗下的平台可面向全球用户提供一套完整的旅行产品、 服务及差异化的旅行内容。携程大住宿部是国内最大的酒店分销电子商务平台,在全球拥有约63万家国内酒店和70万家国际酒店。携程大住宿数据智能平台中70%的实时数据场景已经接入StarRocks,查询响应速度平均在200ms左右,超过500ms的慢查询数大幅度减少,同时人力和硬件成本大大降低。后续会将剩余的实时场景和离线场景全部迁入StarRocks。“ 作者:史文俊 携程大住宿数据智能部资深开发工

2021-10-08 16:35:40 757

原创 StarRocks 版本新增功能介绍(v1.17/v1.18)

StarRocks 近期发布了 v1.17 / v1.18 两个大版本,下面介绍一下新增的核心功能:Lateral Join & Unnest一行转多行是ETL处理过程中的常见操作,借助中间表的处理方式往往不够优雅。StarRocks 在v1.18版中实现了 Lateral join+unnest table function,可以轻松地使 unnest table function 引用左表的属性,从而方便进一步的数据分析。通过 Lateral join+unnest,我们可以实现以下功能:

2021-09-30 16:39:23 805

原创 滴滴 x StarRocks:极速多维分析创造更大的业务价值

**滴滴 x StarRocks:极速多维分析创造更大的业务价值**滴滴集团作为生活服务领域的头部企业,正在全面测试和上线StarRocks。其中橙心优选经过一年多的数据体系建设,我们逐渐将一部分需要实时交互查询、即席查询的多维数据分析需求由ClickHouse迁移到了StarRocks中,StarRocks在稳定性、实时性方面也给了我们良好的体验,接下来以StarRocks实现的漏斗分析为例介绍StarRocks在橙心优选运营数据分析应用中的实践。“ 作者:王鹏 滴滴橙心优选数据架构部资

2021-09-26 13:46:18 304

原创 StarRocks开源——携手未来,星辰大海

各位大数据从业者:这是一个充满挑战的时代。数据驱动正在深刻地改变整个世界。我们的业务数据、数据报表、数据指标都越来越多,但我们分析数据的速度却越来越慢,报表构建的复杂度越来越高。如何有效地分析这些海量的数据,真正有效地利用数据为业务创造价值?这是我们都在思考的重要问题。可能你曾经为此搭建过很多系统,做过很多尝试,但实际效果不佳。仔细想一想,你的数据分析架构是否也在面临以下的难题?(复杂的企业数据分析架构)第一,数据分析性能不达标。随着数据驱动的深入,业务提出了更多的分析需求,比如多维分析,实时分析

2021-09-09 09:54:45 777

原创 跨越速运 x StarRocks:统一查询引擎,强悍性能带来极速体验

跨越速运集团有限公司创建于2007年,目前服务网点超过3000家,覆盖城市500余个,是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护,支撑20余条核心业务线,面向集团5万多员工的使用。目前,大数据中心已建设数据查询接口1W+,每天调用次数超过1千万,TP99在1秒以下。我们利用DorisDB作为通用查询引擎,有效解决了原架构大量查询返回时间过长,性能达不到预期的问题。“ 作者:张杰跨越集团大数据运维架构师,负责集团公司大数据平台的维护和建设 ”业务背景总体

2021-09-02 16:00:11 398

原创 中国邮政邮科院 X StarRocks:统一OLAP平台,大幅降低运维成本

邮政科学研究规划院有限公司(以下简称“邮科院”),作为中国邮政集团有限公司的科研智库单位,专注于战略规划、企业管理、工程设计、物流装备、智能终端、质量检测、标准化研究等领域,在助力中国邮政战略转型和经营发展中发挥着重要支撑作用。邮科院数据组负责全院大数据体系架构的建设,支撑日常BI运营分析、科研数据产品、物流数据、网点画像等业务场景。邮科院数据组通过使用DorisDB,统一了实时和离线的分析场景,替换了ClickHouse、Presto、MySQL等系统,解决了原有多套系统带来的运维和使用复杂性,简化了数

2021-08-20 18:58:31 377

原创 StarRocks Meetup | 实时数仓专题

StarRocks Meetup || 实时数仓专题时间:2021 年 8 月 12 日,周四 19:00-21:00

2021-08-11 15:26:19 374

原创 StarRocks 性能调优实战(一)

一些用户在做StarRocks的 POC 测试时,参照《StarRocks企业版文档》进行了表模型选择、分区、分桶等基础配置后,查询性能离期望的理想状况可能还是会有些差异,或者想针对业务进一步优化以达到最佳性能。这里,我们就借用一个用户 POC 时的调优场景,来分享一些StarRocks系统性能调优中的技巧,同时也简要介绍下StarRocks企业版可视化 profiling 工具的使用。

2021-08-09 18:42:40 2526

原创 贝壳找房是如何构建统一的极速OLAP平台

贝壳找房作为“科技驱动的新居住服务商”,致力于推进居住服务产业数字化、智能化进程,通过助力优质服务者,为三亿中国家庭提供包括二手房、新房、租赁、装修等全方位的高品质、高效率居住服务。贝壳大数据平台部构建和支撑了全集团多个场景应用,覆盖的业务线多,业务复杂度高,因此对数据分析平台的要求也非常高。OLAP平台需要支撑如指标分析、Ad hoc探索性分析、可视化报表等常规业务,还需要支持如用户行为分析、风控、DMP等典型业务。OLAP平台需要适配不同类型、负载以及场景的分析要求,为此大数据平台部需要同时运维的平台

2021-08-06 16:33:15 373

原创 这才是真的实时数仓|好未来基于 StarRocks的全新实时数仓实践

好未来(NYSE:TAL)是一家以智慧教育和开放平台为主体,以素质教育和课外辅导为载体,在全球范围内服务公办教育,助力民办教育,探索未来教育新模式的科技教育公司。截至2020年11月底,好未来在102个城市建立起990个教学点,业务范围覆盖全国331个地级市以及海外20多个国家和地区。随着业务的发展,实时数据的分析需求日益增多,尤其在营销推荐、归因分析、业务辅助决策等场景下,实时数据分析所带来的效益提升是离线数据所不能比拟的。在这些业务场景的驱动下,好未来选择了DorisDB来支撑实时数据的分析应用。实现

2021-07-22 17:01:16 1809 1

原创 StarRocks新版本特性介绍(2021年5-6月)

StarRocks近期发布了1.15 / 1.16 两个大版本,下面介绍一下新版本的核心功能:CBO 优化器执行 SQL 查询时,需要依次经过查询解析器、分析器、优化器、查询执行层和存储层。查询优化器的输入是逻辑的抽象语法树,输出是“最优的” 物理执行计划。查询越复杂,数据量越大,物理执行计划的好坏对查询性能影响越大,所以成熟的商业数据库都需要一个强大的、成熟的查询优化器。

2021-07-15 15:19:20 1056

原创 小红书 x StarRocks:实现数据服务平台统一化,简化数据链路,提升高并发极速查询能力

小红书是年轻人的生活记录、分享平台,用户可以通过短视频、图文等形式记录生活点滴,分享生活方式。在2017年后,随着业务类型和用户体量的爆炸式增长,各类数据分析的需求以及应用系统的数据需求快速出现,例如:商业智能分析,数据应用报表,用户行为分析、算法策略数据等。小红书大数据团队逐步引入了多种OLAP分析引擎来更好的满足需求。DorisDB采用了全面向量化的计算技术,是性能非常强悍的新一代MPP数据库。通过引入DorisDB,小红书构建了全新的统一数据服务平台,大大降低了数据链路开发复杂性,提升了高并发极速查询

2021-06-21 16:10:19 720

原创 58集团 x StarRocks:满足多场景业务分析需求

58集团是中国互联网生活服务领域的领导者,旗下有国内最大的生活服务平台,覆盖各类业务场景,例如车业务、房产业务、本地服务、招聘业务、金融业务等等。随着业务的高速发展,越来越多的分析需求涌现,例如:安全分析、商业智能分析、数仓报表等。这些场景的数据体量都较大,对数据分析平台提出了很高的要求。为了满足这些分析型业务的需求,DBA团队从2021年初就开始调研各类分析型数据库,其中包括DorisDB、TiFlash、ClickHouse等,评测他们的性能及功能。总体评测下来,DorisDB表现全面,在单表/多表

2021-05-26 20:25:37 660 1

原创 猿辅导 x StarRocks:构建统一OLAP平台,全面升级数据分析能力

通过引入StarRocks计算引擎,猿辅导数据中台实现了流式数据、批式数据融合的一站式数据存储和查询引擎,对外提供语义一致和易用的数据服务。可以说StarRocks为猿辅导数据中台的标准化数据集(OneData)和统一数据平台服务(OneService)能力奠定了一个稳固的基础,支持各业务线进行更加快速灵活的查询和分析,全面提升数据分析能力,也为未来的数据平台化建设提供了更多可能性。

2021-05-14 15:01:09 601

原创 云账户实际业务SQL对比测试ClickHouse、TiDB和StarRocks

说明本次测试使用的SQL语句为公司实际业务SQL,出于数据安全考虑,不做SQL和表结构展示;进行本次测试时对StarRocks了解较少,表结构有待优化,没有调优StarRocks任何参数,没有改写SQL(ClickHouse需要做一些SQL改写);本次测试由于服务器资源有限,没有严格遵循单一变量原则进行测试;本次测试TiDB没有部署TiFlash。

2021-05-12 15:23:03 5145 1

原创 StarRocks在千亿级日增数据场景下替换Greenplum的实践

原Greenplum集群在进行10亿*1亿的关联查询时达到极限,无法支撑更大数据量级的关联查询。使用StarRocks替换Greenplum构建新的集群,在进行736亿*15亿的超大量级数据关联查询时,可以顺利完成,并且耗时很短,对业务的整体提升巨大。一、使用背景1.1 选用原因我司原有业务查询使用的数据库为Greenplum,在数据源变更后,数据量从原来的日增千万级别(近百G)暴增至日增千亿(10T)级别,原有的12台GP集群在数据量增长后存在以下痛点:1、数据导入原有的数据导入借.

2021-04-23 20:50:11 2556

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除