去哪儿酒店数仓流量链路优化实践

最新推荐文章于 2024-06-13 19:56:50 发布
最新推荐文章于 2024-06-13 19:56:50 发布
阅读量58 收藏
点赞数 1
文章标签： hive flink 数据仓库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HuiShanXiang/article/details/132138755
版权

一、背景随着旅游市场的回暖、出行需求的激增，去哪儿网酒店的单日预订量也刷新了历年的前高还在不断突破产生新高。
与此同时，酒店数仓每天处理的数据也在不断上涨，为了保障日常 SA 级的报表正常产出，需要我们持续优化数据处理的链路，消除存在的瓶颈与卡点
去哪儿酒店数仓流量链路优化实践

ergoudan.di
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
马蜂窝数据仓库的架构、模型与应用实践
马蜂窝技术
09-26 2461
（马蜂窝技术原创内容，公众号ID：mfwtech） 一、马蜂窝数据仓库与数据中台 最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。 数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。 我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后，借助平台...
旅游集市项目数仓建设案例与分层设计
赤兔胭脂小吕布的博客
02-24 856
旅游集市数仓建设 目录旅游集市数仓建设旅游集市项目架构图旅游集市数据分层设计图为什么要设计数据分层？分层设计ODS(Operational Data Store)：数据运营层(数据贴源层)DW(Data Warehouse)：数据仓库层DWD(Data Warehouse Detail)：数据明细层DWM(Data Warehouse Middle)：数据中间层DWS(Data Warehous...
Redis的基础命令和五种数据类型
weixin_43942037的博客
10-26 425
一 redis的基础命令 set/get非常常用的字符串类型数据的写/覆盖，和读以下的命令是不区分数据类型（key-value类型是总类型，在redis中对于value数据结构是严格的区分的，存在五种不同的value数据类型） 1.1 keys * 表示在客户端查看当前redis服务端内存中所有的数据key值。 127.0.0.1:6379> keys * 1) "location" 2) "gender" 3) "age" 4) "name" 127.0.0.1:6379> 将已有的数据返回
Java学习资料分享（201904）
ice_cream__的博客
04-14 588
写在前面，本人是从小白一步步学习过来的，在这过程中，收集了好多学习资料，涉及Java、Dubbo、SpringCloud和一些前端资料等，我会慢慢更新在这里，有需要的同学可以关注下文的公众号，我会慢慢整理在上面哦。 数据结构与算法： 郝斌数据结构，还有《[数据结构(C语言版)].严蔚敏_吴伟民.扫描版》： 链接：https://pan.baidu.com/s/1yAyaMzl88vwd6...
数据仓库架构演进与菜鸟实时数据仓库设计
weixin_34004750的博客
11-05 2648
2019独角兽企业重金招聘Python工程师标准>>> ...
去哪儿网BI平台建设演进与实践
过往记忆大数据
12-01 1925
作者介绍张杰，2015年1月加入去哪儿网，致力于数据为业务赋能，前期主要做离线、实时数仓建设，后期主要做数据平台建设，目前是数据建设-数据平台组负责人。杜峻辰，2018年11月加入去哪儿网...
电商搜索全链路（PART I）Overview
Kaiyuan_sjtu的博客
05-10 629
大家好，我是kaiyuan。好久没码字了，趁着五一在家整理整理，毕竟北京这疫情哪儿也别想去虽然我们之前分享过很多#搜索推荐广告方面的文章，但是发现很难有一个系统的框架，无法串联成完整的链路。于是，不如就以业务链路为核心，来好好地整理。这一系列规划的整体大纲如下，欢迎催更~针对每个模块，重点在解释清其在系统中的位置和功能、面临的难点以及业界baseline和前沿解决方案...
掌握P5级Java面试技巧
热门推荐
Java程序员廖志伟
03-25 3万+
HashMap底层原理，扩容机制，jdk8以后会使用红黑树优化？红黑树和二叉平衡树的区别，红黑树和B树，B+树的区别，Mysql二大引擎索引底层实现，HashMap在多线程环境中为何出错？ConcurrentHashMap底层实现，CAS，原子引用，ABA问题，volatile，如何解决HashMap出现的OOM问题？（WeakHashMap） HashMap是Map的一个实现类，它是以键值对存储数据的，Key-Value都是Map.Entry中的属性。当我们向HashMap中存放一个元素(k1,v1)
搜索，推荐，广告系统架构及算法技术资料大合集吐血整理——2020年终分享
舒哥的blog
01-03 2万+
算法学习资料： AI_Tutorial 各大厂架构开发学习资源；精华机器学习，NLP，图像识别等人工智能领域学习资料，搜索，推荐，广告系统架构及算法技术资料吐血整理 你还在为学习算法摸不着头脑么？你还在为技术调研各种Google么？AI的牛b吹不上去？盯紧了，这里就是你的2020女朋友～。本项目会持续关注AI落地的一些优质技术资料。大家也可以去网站投稿。 算法学习资料： AI_Tutorial...
数仓链路保障体系与数据测试方法经验分享.docx
12-16
数仓链路保障体系与数据测试方法经验分享 本篇文章旨在分享数仓链路保障体系与数据测试方法的经验，旨在帮助商家更好地运营店铺，提高数据质量和测试效率。文章从四个方面展开，分别是有赞数据链路、数据层测试、...
苏宁金融App全链路灰度实践
02-25
在这个移动互联网日渐成熟的今天，手机端流量占比高达85%。大家为了抢夺用户手机屏幕上的一席之地，杀成红海，产品的极限飙车、急速迭代。整个系统的日趋复杂可是研发时间一再压缩，变成了移动产品质量的达摩克利斯...
SpringCloud微服务架构全链路实践
02-24
后面有时间再针对每个组件进行使用解读，这篇文章主要说下SpringCloud架构的链路图，顺便把自己的思路整理下来，以备查阅。在SpringCloud整个组件库中，SpringCloudZuul是最容易被忽视，但也是最重要的，SpringCloud...
大数据之flink与hive
高精尖发展
06-10 293
其实吧我不太想写flink，因为线上经验确实不多，这也是我需要补的地方，没有条件创造条件，先来一篇吧。
软件1班20240607
2301_80189168的博客
06-07 2343
【代码】软件1班20240607。
05_第五章 Servlet
最新发布
weixin_65644655的博客
06-13 708
第五章 Servlet 一 Servlet简介 1.1 动态资源和静态资源 静态资源 无需在程序运行时通过代码运行生成的资源,在程序运行之前就写好的资源. 例如:html css js img ,音频文件和视频文件 动态资源 需要在程序运行时通过代码运行生成的资源,在程序运行之前无法确定的数据,运行时动态生成,例如Servlet,Thymeleaf … … 动态资源指的不是视图上的动画效果或者是简单的人机交互效果 生活举例 去蛋糕店买蛋糕 直接买柜台上已经做好的 : 静态资源 和柜
Hive面试问题
limenghao2002的博客
06-07 412
数据倾斜是由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点的现象。主要表现：任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面Yarn(8088)，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大于平均时长。
数据仓库技术及应用（Hive索引）
2301_79744714的博客
06-10 638
在建表时候，通过表参数”orc.bloom.filter.columns”=”pcid”来指定为那些字段建立BloomFilter索引，这样，在生成数据的时候，会在每个stripe中，为该字段建立BloomFilter的数据结构，当查询条件中包含对该字段的=号过滤时候，先从BloomFilter中获取以下是否包含该值，如果不包含，则跳过该stripe。Hive元数据表IDXS包含每个索引创建的实例信息，并且记录了与元数据表TBLS的关联信息。（1）不使用索引时，hive执行流程。
大数据学习——安装hive
2301_78409414的博客
06-12 866
大数据学习——安装hive
离线数仓链路的时间损耗
06-08
离线数仓链路的时间损耗主要包括数据抽取、数据清洗、数据转换、数据加载等过程所消耗的时间。具体来说，数据抽取是从各个数据源中提取数据的过程...因此，离线数仓链路的时间损耗可能会比较大，需要充分考虑优化方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值