- 博客(53)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 正确设计Hologres实时数仓，性能提升10倍+
概要：天猫双11对于零售通团队来说也是全年最大的一场战役，数据响应需要更实时，但也会相应增加更多的个性化指标，业务面临的挑战也会更大。本文将会讲述阿里巴巴零售通数据平台如何优化Hologres实时数仓，达到性能提升10倍+的效果，完美支撑双11营销活动、实时数据大屏等核心场景。也希望通过此文对Hologres新用户起到一定的帮助作用，通过合理的数仓设计实现事半功倍的性能效果。作者：曹泰铭（潇铭） 阿里巴巴零售通事业部高级数据工程师汪宇（旋宇） 阿里巴巴零售通事业部高级数据工程师背景阿里巴巴零售通团
2020-12-31 10:55:40
952
原创 首次公开！阿里巴巴云原生实时数仓核心技术揭秘
4982亿，是2020年天猫双十一成交额最终定格的数字。在这背后，是人类历史上最大规模的人机协同，更是数字世界史无前例的巅峰挑战。阿里云新一代云原生数仓Hologres作为双十一背后重要的技术支撑，消费者的每一次搜索、浏览、收藏、加购，都会变成实时数据流入Hologres进行存储，并与天猫上沉淀的历史离线数据进行交叉比对。2020双十一，Hologres顶住了5.96亿每秒的实时数据洪峰，单表存储高达2.5PB。基于万亿级数据对外提供多维分析和服务，99.99%的查询可以在80ms以内返回结果，真正做到数
2020-11-29 18:31:04
429
原创 店开天下，阿里云助力客如云数据中台建设
本次分享客如云如何利用阿里云大数据产品来建设数据中台。作者：客如云技术总监 李浩客如云是做什么的？客如云是2012年成立的一家公司，覆盖餐饮、零售、美业，还有其他的业态以及服务的一家综合性的SaaS公司。到2020年为止，客如云已经服务了60万商家，帮助60万商家实现了数字化、智能化的改造，接下来我们会覆盖更多的商家。目前客如云是四中心的架构，我们的研发中心在成都，硬件研发中心在深圳，总部在北京，销售中心在武汉。接下来主要介绍我们的业务范围：客如云是以软硬一体的SaaS收银服务为核心的，所以SaaS
2020-10-23 15:23:55
387
原创 玩吧高速增长的数据上云实践
作者：玩吧数据智能负责人 于海亮玩吧简介首先向介绍一下我们的公司，公司全称是北京默契破冰科技有限公司，创建于2015年，是一家娱乐社交平台公司，玩吧是我们公司APP的名字，APP上有很多双人小游戏，像卧底大师，你说我猜，大家可以边玩边聊，轻松交友，让社交更轻松。玩吧数据上云架构下面介绍下玩吧数据上云的架构图，最左侧数据采集是通过Kafka集群和DataWorks数据集成，中间的流批一体数据仓库，离线数仓用的是阿里云的MaxCompute，实时数据分析使用的是Hologres，机器学习用的是阿里云的
2020-10-23 14:41:16
201
原创 大数据上手实战！训练营“9营齐开”第二季限时免费报名啦
8月18日，阿里巴巴大数据训练营“九营齐开”正式开营，来自数据计算、数据分析、数据仓库、搜索、机器学习、数据智能等多个领域的技术大佬亲身上阵教学，解读各技术领域基础原理，剖析行业实践案例，帮助开发者实现大数据从0到1的上手学习。首期大数据“9营齐开”计划吸引了 10000+ 开发者报名参与，成为 今夏最火爆的大数据训练营！ 伴随着第一季训练营的完美落幕，大数据训练营“九营齐开”第二季已蓄势待发！丰富的课程设置强大的讲师阵容精美的社区周边第二季大数据训练营“九营齐开”全面升级！强大的讲师阵容保障
2020-10-19 15:26:47
218
原创 小红书推荐大数据在阿里云上的实践
本篇内容主要分三个部分，在第一部分讲一下实时计算在推荐业务中的使用场景。第二部分讲一下小红书是怎么使用Flink的一些新的功能。第三部分主要是讲一些OLAP的实时分析的场景，以及和阿里云MC-Hologres的合作。作者：小红书推荐工程负责人 郭一小红书推荐业务架构首先这个图上画了一些比较典型的推荐业务，使用大数据的主要模块，其中最左边是线上推荐引擎，一般推荐引擎会分成召回、排序、后排等几步，在这里就不细说了。主要是从大数据的角度来说，推荐引擎主要是运用预测模型来预估用户对每个候选笔记的喜欢程度。根
2020-10-16 12:00:08
959
原创 阿里巴巴电商搜索推荐实时数仓演进之路
作者：张照亮（士恒）阿里巴巴搜索事业部高级技术专家1. 业务背景阿里巴巴电商搜索推荐实时数据仓库承载了阿里巴巴集团淘宝、淘宝特价版、饿了么等多个电商业务的实时数仓场景，提供了包括实时大屏、实时报表、实时算法训练、实时A/B实验看板等多种数据应用支持。数据的价值我们认为数据处于阿里巴巴搜索推荐的大脑位置，这体现在算法迭代、产品运营和老板决策等多个方面。那么数据是怎样在搜索推荐业务场景中流转的呢？首先是信息采集，用户在使用手机淘宝的搜索和推荐功能时，会触发到服务端上的埋点信息；接下来会经过离线和实时的E
2020-09-08 16:06:39
176
原创 菜鸟+Hologres=智能物流
作者：阿里巴巴菜鸟物流团队（弃疾，孝江，姜继忠）一、业务背景菜鸟智能物流分析引擎是基于搜索架构建设的物流查询平台，日均处理包裹事件几十亿，承载了菜鸟物流数据的大部分处理任务。智能物流分析引擎将基于运配网络的各类应用场景集中到了统一的一个技术架构，以此提供强大的吞吐和计算能力。基于原架构的数据处理流程为：Datahub实时采集数据源，包含仓、配、运和订单等数据，实时计算Flink基于流批一体的模式对数据预处理，形成一个以订单为单位，包含订单跟踪事件的宽表，写入存储引擎HBase中，再供外部查询。在数据
2020-08-12 16:54:25
274
原创 云原生HSAP系统Hologres产品价值解读
摘要：企业拥抱数字化转型已成为行业共识，越来越多的企业加快推进数字化转型和升级，数据价值的重要性越加显著。本次分享将由阿里云计算平台-交互式分析团队产品经理李姗姗为大家进行云原生HSAP系统Hologres产品价值解读。主要分享主流实时数仓架构以及其实践的痛点，与云原生HSAP系统创新的价值。**演讲嘉宾简介：**阿里云计算平台-交互式分析团队产品经理——李姗姗（花名：柔惠）以下内容根据演讲视频以及PPT整理而成。点击查看》》视频回放本次分享主要围绕以下三个方面：一、主流实时数仓架构：Lambda
2020-07-31 12:45:41
895
原创 大数据的下一站是什么？服务/分析一体化（HSAP）
作者：蒋晓伟（量仔） 阿里巴巴研究员因为侧重点的不同，传统的数据库可以分为交易型的 OLTP 系统和分析型的 OLAP 系统。随着互联网的发展，数据量出现了指数型的增长，单机的数据库已经不能满足业务的需求。特别是在分析领域，一个查询就可能需要处理很大一部分甚至全量数据，海量数据带来的压力变得尤为迫切。这促成了过去十多年来以 Hadoop 技术开始的大数据革命，解决了海量数据分析的需求。与此同时，数据库领域也出现了一批分布式数据库产品来应对 OLTP 场景数据量的增长。为了对 OLTP 系统里的数据进
2020-06-19 16:20:12
749
原创 数智时代新基石，贾扬清重磅发布新一代云原生数据仓库与数据湖
6月9日， 在2020阿里云峰会上，阿里巴巴副总裁、阿里云计算平台事业部高级研究员贾扬清宣布推出新一代云原生数据仓库和数据湖解决方案。基于创新的技术架构，新一代云原生数据仓库可支持PB级数据关联分析和实时查询，实现离线、实时、分析、服务的四位一体。同时推出的数据湖解决方案，采用一种存储多种计算理念，基于存储与计算分离架构和全新大数据分析加速引擎，可实现与本地计算一样的快速体验，激发企业数智动能。以下为贾扬清演讲全文**[（附视频回顾>>)](https://summit.aliyun.com
2020-06-11 16:00:52
366
原创 直播 | 阿里、快手、Databricks、网易云音乐...国内外大数据大佬齐聚一堂要聊啥？
一线开发者同学一直面临着巨大的学习压力，除了需要解决业务上线后日常神出鬼没的bug与难题，还得面对开源软件不断发版更新导致的措手不及。于是黑眼圈日益浓重稀疏的头发间距更大皮肤越来越干燥最后直接躺平“实在是学不动了！！！”但是，如果每次发新版的软件都能帮你圈一下重点，再搭配一个详细解读，把新增功能、重大变更、整体优势都一一讲解，这种体验会不会很棒？6月14日，阿里巴巴计算平台事业部联合阿里云开发者社区共同举办的大数据+AI Meetup 系列第一季即将重磅开启，此次 Meetup 邀请了来自
2020-06-05 14:28:09
527
1
原创 数据仓库、数据湖、流批一体，终于有大神讲清楚了！
数据仓库、数据湖、流批一体，终于有大神讲清楚了！作者：蒋晓伟（量仔） 阿里云研究员金晓军(仙隐) 阿里云高级技术专家摘要：数据仓库，数据湖，包括Flink社区提的流批一体，它们到底能解决什么问题？今天将由阿里云研究员从解决业务问题出发，将问题抽丝剥茧，从技术维度娓娓道来：为什么你需要数据湖或者数据仓库解决方案？它的核心难点与核心问题在哪？如果想稳定落地，系统设计该怎么做？一、业务背景1.1 典型实时业务场景首先我们来看一个典型的实时业务场景，这个场景也是绝大部分实时计算用户的业务场景，整个
2020-05-14 14:49:36
8620
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人