去哪儿酒店数仓流量链路优化实践

最新推荐文章于 2024-11-07 10:41:29 发布

ergoudan.di

最新推荐文章于 2024-11-07 10:41:29 发布

阅读量90

点赞数 1

文章标签： hive flink 数据仓库大数据

本文链接：https://blog.csdn.net/HuiShanXiang/article/details/132138755

版权

一、背景随着旅游市场的回暖、出行需求的激增，去哪儿网酒店的单日预订量也刷新了历年的前高还在不断突破产生新高。
与此同时，酒店数仓每天处理的数据也在不断上涨，为了保障日常 SA 级的报表正常产出，需要我们持续优化数据处理的链路，消除存在的瓶颈与卡点
去哪儿酒店数仓流量链路优化实践

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ergoudan.di

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

2024年07月数据月报

SmartSi

08-03

1411

2024年07月数据月报，为您准备了阿里、字节、百度等大厂120多篇实践案例

hive实战项目：旅游集市数仓建设

thosakapie的博客

03-02

1626

停留点表dwm_staypoint_msk_d与用户画像维表dim_usertag_msk_m 通过mdn关联，按mdn、county_id、resi_county_id分组，使用calLength(grid_id, resi_grid_id) 传入网格id、居住地id，算出出行距离，并计算每个用户到每个县的累计出行时间，然后取出累计时间最大值超过3小时（180分钟），出行距离大于10km的用户。按照业务划分，如流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等。

参与评论您还未登录，请先登录后发表或查看评论

Redis的基础命令和五种数据类型

weixin_43942037的博客

10-26

464

一 redis的基础命令 set/get非常常用的字符串类型数据的写/覆盖，和读以下的命令是不区分数据类型（key-value类型是总类型，在redis中对于value数据结构是严格的区分的，存在五种不同的value数据类型） 1.1 keys * 表示在客户端查看当前redis服务端内存中所有的数据key值。 127.0.0.1:6379> keys * 1) "location" 2) "gender" 3) "age" 4) "name" 127.0.0.1:6379> 将已有的数据返回

马蜂窝数据仓库的架构、模型与应用实践

马蜂窝技术

09-26

2555

（马蜂窝技术原创内容，公众号ID：mfwtech）一、马蜂窝数据仓库与数据中台最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后，借助平台...

Java学习资料分享（201904）

ice_cream__的博客

04-14

695

写在前面，本人是从小白一步步学习过来的，在这过程中，收集了好多学习资料，涉及Java、Dubbo、SpringCloud和一些前端资料等，我会慢慢更新在这里，有需要的同学可以关注下文的公众号，我会慢慢整理在上面哦。数据结构与算法：郝斌数据结构，还有《[数据结构(C语言版)].严蔚敏_吴伟民.扫描版》：链接：https://pan.baidu.com/s/1yAyaMzl88vwd6...

数据仓库架构演进与菜鸟实时数据仓库设计

weixin_34004750的博客

11-05

2718

2019独角兽企业重金招聘Python工程师标准>>> ...

去哪儿网BI平台建设演进与实践

过往记忆大数据

12-01

2009

作者介绍张杰，2015年1月加入去哪儿网，致力于数据为业务赋能，前期主要做离线、实时数仓建设，后期主要做数据平台建设，目前是数据建设-数据平台组负责人。杜峻辰，2018年11月加入去哪儿网...

电商搜索全链路（PART I）Overview

Kaiyuan_sjtu的博客

05-10

802

大家好，我是kaiyuan。好久没码字了，趁着五一在家整理整理，毕竟北京这疫情哪儿也别想去虽然我们之前分享过很多#搜索推荐广告方面的文章，但是发现很难有一个系统的框架，无法串联成完整的链路。于是，不如就以业务链路为核心，来好好地整理。这一系列规划的整体大纲如下，欢迎催更~针对每个模块，重点在解释清其在系统中的位置和功能、面临的难点以及业界baseline和前沿解决方案...

京东零售流量数仓架构建设

08-23

京东零售流量数仓架构建设是京东在大数据处理领域的一个重要实践，它涵盖了用户在京东页面上的行为数据收集、处理和分析。流量数据来源于移动端、PC端、线下店、外部采买及合作商等多个渠道，通过SDK和JS等方式进行...

数仓链路保障体系与数据测试方法经验分享.docx

12-16

数仓链路保障体系与数据测试方法经验分享本篇文章旨在分享数仓链路保障体系与数据测试方法的经验，旨在帮助商家更好地运营店铺，提高数据质量和测试效率。文章从四个方面展开，分别是有赞数据链路、数据层测试、...

5-4+工业数采上云分析全链路优化实践.pdf

03-18

5-4+工业数采上云分析全链路优化实践

实时数仓容量评估实践

yuan2789的博客

05-31

455

一、背景介绍目前实时数仓提供的投放实时指标优先级别越来越重要，不再是单独的报表展示等功能，特别下游为规则引擎提供的数仓数据，直接对投放运营的广告投放产生直接影响，数据延迟或者异常均可能产生直接或者间接的资产损失；从投放管理平台的链路全景图来看，实时数仓是不可或缺的一环,可以快速处理海量数据，并快速分析出有效信息，支持规则引擎的自动化操作，以及投放管理平台的手动控盘，实时节点事故，将可能导致整个投放链路无法正常运行，但是，随着数据增长的速度越来越快，实时数仓也面临着容量问题。因此，实时数仓容量评估变得尤为重

数仓建模—美团配送数据治理实践

热门推荐

05-28

5万+

数据地图作为元数据应用的一个产品，聚焦于数据使用者的“找数”场景，实现检索数据和理解数据的“找数”诉求。我们通过对离线数据集和在线数据集的元数据刻画，满足了用户找数和理解数的诉求，通过血缘图谱，完成物理表到产品的血缘建设，消除用户人肉评估的痛苦。在数据标准方面，我们制定了业务标准、技术标准、安全标准、资源管理标准，从而保障了数据生产、管理、使用合规。在数据架构方面，我们通过桥接表、时间刻度化、业务口径下沉等手段提升模型灵活性，并保障数据一致性，消除跨层引用和模型冗余等问题。

ORACLE 删除archivelog日志

GAVIN

11-04

538

crosscheck archivelog all：验证的是DB的归档日志即log_archive_dest参数指定位置的文件，当手工删除了归档日志以后，Rman备份会检测到日志缺失，从而无法进一步继续执行Rman备份，所以此时需要手工执行crosscheck过程，查看所有的归档日志文件是否都是正常的然后再来执行Rman备份。这时候我们再去OEM中就看不到这些日志文件了，如果你的从来没有做过这个动作的话，我们可以比较这个动作前的controlfile和动作后的controlfile的文件大小。

大数据学习10之Hive高级

qq_64407249的博客

11-06

1225

过程：创建Maven项目，导入依赖，创建方法类，并继承响应方法类实现方法类的方法生成jar包Hive导入自定义函数jar包重新加载函数。

Hive-testbench套件使用文档

sdssee的博客

11-05

1128

hive-testbench 是hortonworks的一个开源项目，用于测试和基准测试 Apache Hive 的工具集。它提供了一系列的测试数据集和查询样例，用于评估和比较 Hive 在不同配置和环境下的性能。hive-testbench 的主要目标是模拟真实的大规模数据集和复杂查询场景，以帮助用户评估和优化 Hive 的性能。

智能提醒助理系列-jdk8升级到21，springboot2.3升级到3.3

涛哥的专栏

11-04

589

智能提醒小程序当前使用的是jdk8，springboot2.3,升级到jdk21和springboot3.3 学习新知识的同时，感受带来的性能提升。

Hive 的数据类型