原创 | 一张图秒杀滴滴大数据场景题(已拿offer)

最新推荐文章于 2024-04-18 12:57:02 发布
最新推荐文章于 2024-04-18 12:57:02 发布
阅读量308 收藏 3
点赞数
文章标签： hash java 统计学 编程语言 csv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a934079371/article/details/114362209
版权
本文介绍了如何在一台只有4GB内存的机器上，处理50亿条URL数据，找出A、B文件中相同的URL。通过使用Hash函数和分而治之的策略，将URL分散存储到小文件中，然后比较相同编号的文件找到匹配项。此外，还讨论了如何对10GB的订单数据进行金额排序，利用桶排序思想将数据切分并排序。这两个问题展示了在大数据处理中‘分而治之’的重要思想。
摘要由CSDN通过智能技术生成

点击上方 "大数据肌肉猿"关注, 星标一起成长

后台回复【加群】，进入高质量学习交流群

2021年大数据肌肉猿公众号奖励制度

大家好，我是峰哥。

之前有同学在微信上问了我滴滴的一个大数据场景题，今天我们就聊聊解决这道题的思路。

在面试中，我们不仅要手写算法，还会

最低0.47元/天 解锁文章
无精疯
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
3个月Java集训拿到了滴滴offer
CSDN超级实习生
05-06 2990
2022年各大互联网大厂传来裁员消息，有人感到害怕，对大厂的喜爱程度直线下降，也有人始终保持热爱。毕竟互联网大厂的高薪高福利以及自由，还是比较吸引年轻一代的，那么我是如何通过3个月集训拿到了滴滴offer呢？
【场景】大数据场景题 - Hash
每天更新大数据面经和技术
09-13 357
hash
【场景】大数据常考场景题 - Bitmap
每天更新大数据面经和技术
05-25 651
  大数据开发面试通常会问场景题，主要考察大数据中常用的数据结构，比如 Bitmap、Bloom Filter 等等。今天就说一个工作中碰到的。 比如昨天说到的问题，用户要在自定义时间区间内查询，就需要快速响应，可能用到 ClickHouse。可以先看昨天的文章。欢迎关注公众号。 大数据开发全流程 那么为什么 ClickHouse 为什么快呢？这要归因于底层的数据结构。考虑这样一个场景： 场景1： 用户画像将消费者分为很多类，比如按购买力分为购买力低、购买力中、购买力高，按粉丝的忠实程度分为路人、普通粉丝、
大数据场景经典问题
Sixkd的博客
04-08 895
1、海量ip数据，取频率最高(种类有限) 具体问题： 　　从海量日志中提取出某日访问次数最多的那个IP。 取模（可选）+hash。因为IP的数目是有限的，最多2^32个，可以考虑使用hash将ip直接存入内存，然后进行统计。 方案： 　　IP逐个写入到一个大文件中。IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出...
【场景】大数据面试场景题 - 堆
每天更新大数据面经和技术
11-19 780
堆的应用
大数据岗面经，已拿offer（解决北京户口）.docx
11-12
大数据岗面经，已拿offer（解决北京户口） 本资源摘要是一个大数据岗面经的分享，涵盖了作者的面试经历和经验总结，旨在帮助读者更好地准备大数据岗的面试。下面是该资源的详细摘要信息： 一、农行面经 作者首先...
已拿offer亲测有效！软件测试面试题含答案，
10-09
以下是对软件测试面试题及答案的详细解析： 1. 当测试中发现bug但开发经理不认同时，应采取以下步骤： - 将问题详细记录在缺陷管理工具中。 - 参考需求文档、设计规格等，证明问题的合理性。 - 如果没有书面依据...
2022年MySQL最新面试题，很全，已拿大厂 offer
02-07
包括常见的面试题和答案 一、数据库基础知识 1、平时MySQL主要用哪个版本 2、数据库三大范式是什么 3、MySQL有关权限的表都有哪几个 4、MySQL的binlog有有几种录入格式？分别有什么区别？ 5、平时用到哪些关系型...
2023Java面试题 ，拿offer必看 含技术要点
12-26
【Java基础】 Java是一种广泛使用的高级编程语言，它的特性包括面向对象、跨平台、多线程、动态性。面向对象编程的三大特征是封装、...通过深入理解和熟练应用这些概念，可以提升技术水平，有助于成功获得大厂的Offer。
Leetcode刷题：剑指offer【面试题07】
01-20
【面试题07】重建二叉树 难度： 中等 限制： 0 <= 节点个数 <= 5000 输入某二叉树的前序遍历和中序遍历的结果，请重建该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。 Leetcode题目对应...
面试-大数据-场景题-sql
认真学代码的shell
12-07 1086
1. 求5min内浏览次数达到100的用户-- LAG和LEAD函数 转载自 有如下场景： 某公司网站每日访问量达到10亿级别的访问量，每次访问记录一条数据，数据包含如下字段：用户ID，访问时间（毫秒级），访问页面。 要求使用hive求出所有在5分钟内访问次数达到100次的用户（求出用户ID即可） **思路：**利用窗口函数Lag 详细思路： 1.选出当天访问次数达到100次的用户（即当天有100及以上条数据的用户）：根据用户ID分组，count 2.在每个 用户ID小组内（步骤1已进行分组）按 访问时间
盘点面试中常见的超大规模数据场景算法问题
纵横千里 捭阖四方 的专栏
11-12 1099
在大部分算法题目中，默认给定的数据量都很小的，例如只有几个或者十几个元素，但是如果将数据量提高到百万甚至十几亿，那处理逻辑就会发生很大差异，这也是算法考查中，经常出现的一类问题。此时普通的数组、链表、Hash、树等等结构有无效了 ，因为内存空间放不下了。而常规的递归、排序，回溯、贪心和动态规划等思想也无效了，因为执行都会超时，必须另外想办法。这类问题该如何下手呢？这里介绍三种非常典型的思路：1.使用位存储，使用位存储最大的好处是占用的空间是简单存整数的1/8。
大数据运维应用场景面试题汇总及参考答案（持续更新）
最新发布
大模型大数据攻城狮的专栏
04-18 516
DataOps的核心在于建立一个高效、可靠和可扩展的数据管道，支持数据的采集、存储、处理和分析。DataOps的核心在于建立一个高效、可靠和可扩展的数据管道，支持数据的采集、存储、处理和分析。通过结合DataOps和AIOps，可以实现更加智能和自动化的大数据运维，提高运维效率，降低运维成本，提升系统的稳定性和可靠性。通过结合DataOps和AIOps，可以实现更加智能和自动化的大数据运维，提高运维效率，降低运维成本，提升系统的稳定性和可靠性。通过有效的运维管理，可以确保HDFS的高效运行和数据的安全性。
面试常见海量数据场景题
文杰的博客
02-21 2324
面试场景题整理
困扰已久的大数据场景题
qq_38835878的博客
08-03 962
由于每次面试我都没有答出来该类场景题，现在做一个记录来避免下一次答不出来的困扰。 另外感谢https://blog.csdn.net/v_july_v/article/details/7382693july 转载 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 内存为XXX。 (XXX一定是不足以存下所有的IP的） IP地址基数大概有2的32次方个，那么就将访问百度的日志中的IP...
滴滴 算法实习生 面试详解 nlp方向
机器学习深度学习业余选手
08-08 1212
滴滴 算法实习生 面试详解 nlp方向
真offer收割机！190道大数据面试真题大汇总（附答案详解）
数据一哥，公众号：数据社
04-15 8854
如今这个数字化时代，需求大薪资高的，依然非大数据工程师莫属。我跟不少行业大佬聊过，他们纷纷表示，大数据现在依然处在非常强的爆发期，依然是“黄金时代”！这里有两个关键趋势：一是实时化，从传统的T+1数仓到实时数仓，全面实时化是一个必然，数据洞察变得更快了。二是计算场景化，大家从热衷追逐某一两个引擎，逐渐转成，思考可以用哪些引擎解决哪些问题，更关注实际应用场景。这两个趋势，给...
大数据开发 | SQL类经典场景汇总及解答
神芷迦蓝寺
08-09 1632
1. 有一张学生成绩表(Grade)，含有Student，Subject，Grade1三个字段，其中Subject共有五门，Grade1 >= 60 为及格，其中存在着缺考情况，若缺考则表里会少一条数据，比如小明五门课都考了，则表里他有五条数据，小华缺考了两门，则表里只有他三条数据，缺考则该科目不及格，所有科目全部及格的算优秀，用sql查出优秀的有多少人 -- 子查询先查出来五门课全...
《剑指Offer》编程题解析：翻转字符串与相关算法
"编程题解-剑指offer Java版" 这篇资源主要涵盖了《剑指Offer》这本书中的多个经典编程面试题目，这些题目旨在测试和提升应聘者的编程能力、算法理解以及问题解决技巧。以下是对其中一些重点题目的详细解析： 1. ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值