20210223——某厂大数据开发面经

最新推荐文章于 2024-10-25 11:56:34 发布
最新推荐文章于 2024-10-25 11:56:34 发布
阅读量209 收藏
点赞数 1
分类专栏： 面经
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiyong7578/article/details/113993603
版权
本文探讨了SparkSQL中不同的JOIN类型以及如何进行Hive的性能优化。同时，讨论了在大数据处理中如何确保exactly-once语义，并分析了Hive字段类型不匹配可能带来的问题。此外，还涉及到了Hive的执行计划解析及其重要性，以及SS实时与离线任务的整合策略。
摘要由CSDN通过智能技术生成

1、SparkSQL有几种join？
2、Hive你怎么做的优化？
3、你确定你这么做真的能保证exactly-once？
4、Hive字段类型不同，会发生什么事？
5、Hive的执行计划看过吗？里面都有什么内容？你怎么看的
6、SS的实时是怎么和离线关联起来的？api吗？任务每天重启？

qiyong7578
关注
专栏目录
【面经】联想大数据开发面经
每天更新大数据面经和技术
08-16 1006
联想一面
2024年最新大数据开发八股文总结——Hadoop_大数据八股文(1)，各种风格的大数据开发面试题进来了解一下
2401_84181942的博客
05-05 1034
MapReduce是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带默认组件代码整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MapReduce是一种分布式计算模型，它主要用于大规模数据的处理和分析。在MapReduce模型中,Map函数和Reduce函数都是非常重要的组成部分，它们分别在数据预处理和结果合并阶段发挥重要作用。Map函数一般用来对数据进行预处理。当MapReduce模型读取数据时, Map函数会对每个数据块进行处理。
双非硕士阿里大数据开发面经(已拿offer)(建议收藏)
a934079371的博客
12-14 5197
推荐阅读：#秋招失利，如何把握春招？(大四、研三)#大三、研二的秋招备战路线(Java、大数据)------自我介绍感谢群主峰哥秋招过程中的帮助，在年底前对秋招做一个总结分享给其他同学。...
大数据面经 字节跳动 （整理）
Maynor的博客
08-12 1223
人家的面经 作者：杨超越救救孩子啊 链接：https://www.nowcoder.com/discuss/170799 来源：牛客网 早上九点的面试，投的南京的岗位 一面： 一面面试官人很nice，遇到不会的也会安慰我说没关系， 上来先自我介绍， 说下项目， 说说对hadoop的理解，都有哪些组件，分别是干什么的 还了解大数据其他组件嘛？这里我说了下kafka，然后巴拉巴拉，，， kafka在什么地方需要用到zookeeper 了解HBase吗？ 说下spark中的transform和action 为什么
大数据开发面经
化身孤岛的鲸o的博客
04-21 626
大数据开发面经
【面经】字节大数据开发面经
每天更新大数据面经和技术
04-19 1984
1.wordcount的实现过程 Map 阶段： 按行读取要统计的文本文件； 按空格拆分每行的单词 将单词转换成 kv 键值对，格式为（单词，1） 将所有的 kv 键值对中的单词按照单词首字母分区，比如分两个区，那么分区1（a-p），分区2（q-z） Reduce 阶段： 每个 ReduceTask 拉取上一阶段所有 MapTask 的输出，按照 key 汇总 对相同的 key 的 value（value 都是 1） 求和 扩展：程序的写法如下 // Mapper类 import java.io.
2021Java大厂面试题——大厂真题之唯品会-Java大数据开发工程师.pdf
01-29
### Java大数据开发工程师面试知识点详解 #### 一、Kafka Message结构详解 Kafka消息（Message）是Kafka中非常核心的概念之一，它承载着所有传递的信息内容。一个Kafka消息由固定长度的Header和变长的消息体Body两...
2021秋季校招面试——Java大数据面经总结
baidu_33094261的博客
11-07 1038
2021秋季校招面试——Java/大数据面经总结 web服务器 Apache 和 Nginx的区别与比较： Apache: Apache HTTP Server(简称apache)是Apache软件基金会的一个开放源码的网页服务器，可以在大多数计算机操作系统中运行，由于其多平台和安全性被广泛使用，是最流行的Web服务器端软件之一，它快速、可靠并且通过简单的API扩展，将Perl/Python等解释器编译到服务器中。 Apache是以进程为基础的结构，进程要比线程消耗更多的系统开支，不太适用于多处理器环境，
【大数据必备】非科班转行Java大数据面经分享.zip
03-03
最后，Java大数据开发还需要熟悉版本控制系统（如Git），构建工具（如Maven或Gradle），以及持续集成/持续部署（CI/CD）流程。同时，良好的编程习惯和问题调试能力也是不可忽视的。 总的来说，非科班转行Java大数据...
大数据开发shell面经
09-02
在大数据开发中，Shell脚本是非常常用的工具。以下是一些常见的面试问题和答案: 1. 问: 如何执行一个已经创建的Sqoop job? 答: 可以使用以下命令执行Sqoop job: sqoop job -exec job名称 。 2. 问: 你使用过哪些...
大数据面经
07-28
大数据Hadoop一些特别典型也是特别重要的一些概念,包括datanode,namenode,secondery namenode的架构思想
【面经】360 大数据开发二面面经
每天更新大数据面经和技术
10-16 758
360
说好的大数据开发面经来啦！热乎的，冲冲冲！！
热门推荐
云祁QI
04-28 1万+
活着就意味必须要做点什么，请好好努力。
面经总结(大数据开发相关)
qq_39300291的博客
04-07 4017
整理收集一些面试遇到的简单问题
大数据开发岗位面经收集
HW_870754395的博客
04-21 2123
大数据开发岗位面经收集1. 一次计算各时区的DAU（Daily Active User）假设有最近48小时的数据，如何一次性计算24个时区各自的DAU，而不是计算24次。2. 分布式求平均值一些整数数据分布的存储在多台机器上，每台20TB，需要求这些数的平均数。请简述计算方法和数据流。3. HashMap的底层原理（1）HashMap简述：上面题目及解答来源于：https://www.nowcod...
【面试】大数据开发面经整理
最新发布
Rebecca_tune的博客
10-25 686
大数据开发面经整理
B站 大数据开发实习 面经
weixin_45508154的博客
04-28 802
B站 一面（凉经） 为什么我面数仓岗 不问我数仓建模和HQL 问我这些的东西？？？ 0.Java集合了解吗，继承图说一下 1.ArrayList和HashMap底层原理说一下，扩容机制，底层存储结构 2.为什么1.8之后HashMap用红黑树 3.二叉树和红黑树区别 4.Java锁机制了解过吗 Sychronize和Lock底层区别，线程池了解过吗 5.JVM内存模型，各部分作用 6.JVM垃圾回收算法有哪些，主要回收哪个区域，如何判断垃圾可以被回收 7.堆新生代老年代比例，配置过JVM的参数吗 8.类加载
大数据开发工程师校招面经
呼呼的小窝
10-19 8204
一只菜鸟在校招面试过程中，大数据开发岗位的一些面经 新华智云 一面（30分钟） 谈谈你对HDFS的了解 Hadoop2.0做了哪些改动 Spark与MR的区别在哪里 知道除了Spark之外的大数据处理框架嘛 Spark shuffle，说说 StringBuilder与StringBuffer的区别 HashMap与Hashtable的区别 二叉树的数据结构是什么样的 数据库索引的实现原理 jv...
大数据心得体会_两年经验，分享我的大数据开发工程师面经
weixin_42351189的博客
12-19 580
一次友好的深信服面试，已offer作者：阳光下肆意奔跑来源：牛客网来牛客分享职场经验，赢得京东大礼候选人简介求职职位：大数据开发工程师-深信服工作经验：两年求职途径：boss直聘面试渠道：一面和二面都在牛客网上进行，方便进行代码考核面试时间：HR提前沟通一面(11.11上午)：面试官蛮好说话的，说因为我只有两年工作经验，代码考核还是需要进行的，并不是故意为难我。然后跟我说面试大概分为基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值