多来点(哗啦啦)科技大数据面试题

最新推荐文章于 2024-04-07 14:14:33 发布
最新推荐文章于 2024-04-07 14:14:33 发布
阅读量511 收藏
点赞数
分类专栏： 大数据面试 文章标签： 面试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenglishuguang/article/details/120190093
版权
1.自我介绍
2.介绍下数仓相关的项目
3.了解数据中台吗，介绍下
4.数据中台的架构
5.数据中台的优点
6.对数据中台的设计考虑哪些方面
7.对于数据中台的血缘关系了解吗
8.对于大数据运维了解吗
9.定时调度任务oozie和azkanban及DolphinScheduler的了解及对比
10.对于数据仓库分层的设计
11.spark的优化点有哪些
12.spark提交任务的流程
胜利的曙光
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图说系列：dolphinscheduler的工作流程
子涵先生
11-01 1万+
文章目录一、什么是dolphinscheduler？二、图说dolphinscheduler任务执行过程概念先行流程执行 一、什么是dolphinscheduler？ Apache DolphinScheduler，是一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。 更多简介信息请查看官网。本文就让我们跟随子涵先生来用图说源码~走你！┏ (゜ω゜)=☞ 二、图说dolphinscheduler任务执行过程 概念先行 为了方便
数据中台/数据仓库必问的数量质量控制面试题
最新发布
大模型大数据攻城狮的专栏
06-25 131
数据质量指的是数据满足其预定用途的程度，涉及数据的完整性、准确性、一致性、及时性和可访问性等多个方面。高质量的数据是指数据在这些维度上均表现良好，能够有效支持业务决策、分析以及运营活动，而不会因错误、不完整或不一致等因素导致误导性结论。
DolphinScheduler 答案整理，最新面试题
知识极客
04-07 770
调度过程中，Master节点负责计算任务的调度计划和处理任务的依赖关系，而Worker节点则根据Master的调度决策执行具体任务。在任务调度过程中，Master节点会根据任务需要分配相应的资源，如分配合适的Worker节点来执行任务，确保资源的高效利用。DolphinScheduler支持多种任务类型，可以直接配置使用第三方数据处理工具的任务，如Shell任务、SQL任务等。提供多种任务类型来支持ETL过程，包括但不限于SQL任务、Shell任务、Python任务等，以适应不同的ETL需求。
大数据面试hive 看这一篇就够了（离线数仓 ）
HelloWowofei的博客
07-03 786
当 DataNode 突然挂掉了，客户端接收不到这个 DataNode 发送的 ack 确认，客户端会通知 NameNode，NameNode 检查该块的副本与规定的不符，NameNode 会通知 DataNode 去复制副本，并将挂掉的 DataNode 作下线处理，不再让它参与文件上传与下载。静态分区的分区值是自己设置的，动态分区的分区值是通过select查询出来的某个列的值，动态分区需要打开动态分区的开关和打开nostrict非严格模式的开关，效率比静态分区要低。
多来点面试回顾
赱乂的博客
10-18 492
笔试： 重载与重写 hashCode与equals Error与Exception，RuntimeException 同步加锁的方法 ThreadLocal 数据库SQL题 单例 深拷贝和浅拷贝 Spring AOP原理 TCP的三次握手 1、建立连接时，客户端发送SYN包（SYN=i）到服务器，并进入到SYN-SEND状态，等待服务器确认 2、服务器收到SYN包，必须确认客户的SYN（ack...
大数据面试题及答案-汇总版
热门推荐
风远陌
11-02 20万+
大数据面试题及答案 汇总版                                     当前版本： Ver 1.0 制作单位：   编写人员： 审 核 人：   签 收 人：   签
京东数据中台面试
愤怒的凹凸曼的博客
09-03 1049
京东： 一面： 1、springMVC执行过程 2、线程池执行流程 3、redis分布式锁 4、redis热key会产生什么问题，怎么解决，大量请求访问redis的一个分片，redis崩溃，怎么解决 5、springCloud 微服务间调用，TCP,HTTP区别 6、@Trans 默认回滚什么异常，什么情况下会失效 7、mysql 存储引擎数据结构 8、sql慢查询优化 9、mysql 主从同步 10、mybatis mapper中的方法怎么定位到sql语句 11，hashMap扩容为什么是2倍
8个你最想知道的数据中台问题，我们这次聊个透
大数据研习社
05-24 1257
问题一：是什么催生了数据中台？ 问题二：数据中台、数据仓库 、数据平台、数据湖有何区别？ 问题三：数据中台只是一种技术吗？ 问题四：究竟什么样的企业更适合做数据中台？ 问题五：数据不多的企业能不能做数据中台？ 问题六：现在建设数据中台是价格高于价值，还是价值高于价格？ 问题七：数据中台企业要不要自己做上层应用？ 问题八：我该如何快速掌握数据中台必备技能，早日成为数据中台企业的一名干...
数据中台的一些问题整理
bluedraam_pp的博客
06-30 643
需求调研阶段 如何保证需要不漏、理解正确，减少不返工？ 如何描述清楚源数据中表的关联关系，使用什么工具和承载这个功能？ 设计阶段 如何设计维表 元数据解决了什么问题，如果没有思路，可以问一下详细的问题 数据一致性的问题，包括指标口径不一致、测试问题 数据复用 提高取数效率 降低学习成本 统一管理元数据，避免团队数据孤岛 保证数据质量，准（准时、准确）全（oneData），效果是数据用户敢用、放心用、用的有价值。 如果要做一个数据中台的项目，我们应该如何设计组织架构。 调度平台的核心功能：定时调度
海量数据常见的面试题（频次最高+随机抽样）
碎碎絮語
03-12 1980
【在海量数据中统计出现次数最多的n个】  分两种情况，   1 如果数据能够在内存中放下，比如如果海量数据是ip地址，最多有4G个ip地址，每个ip地址占4个字节 需要内存16G，如果内存在几十G，则完全可以全部装入内存，    直接读取大文件，然后创建一个hash表，统计次数，最后再用堆统计最大的n个 2  如果不能在内存放下，比如海量数据是字符串，不同的字符串个数无限，内存中可
数据分析（技术方向）面试题
theodorewy的博客
10-21 248
1 说一下大数定律和应用场景 2 数据清理经常用什么库 3 dataframe和series的区别 4 数据可视化经常画什么图 5 说一下AUC值 6 说一下决策树是怎么生长的 7 说一下word2vec 8 写一个sql题 ...
面试题，说说你理解的中台
liudada8265的博客
07-22 1180
这个是我们学员面试中遇到的问题，以及他总结的答案，分享给大家。1. 我理解的中台？中台根本上是为了解决企业响应力困境， 弥补创新驱动快速变化的前台和稳定可靠驱动变化周期相对较慢的后台之间...
关于数据仓库面试题的整理
u011868279的博客
03-13 1073
关于数据仓库面试题的整理
十道海量数据处理面试题与十个方法大总结
try to do
04-01 120
https://blog.csdn.net/v_JULY_v/article/details/6279498 详细看原文啦~
SQL基础知识
iMark
03-10 496
分为增删改查和面试题 增 创建数据库：create database 数据库名称 create database taobao; 创建表：create table 表名（列 格式 null设置，·····），主键设置：primary key (主键列) CREATE TABLE ProductIns( product_id char(4) NOT NULL, product_name VARCHAR(100) NOT NULL, product_type VARCHAR(32) NOT NULL, sal
来咯来咯！2020最新web前端面试题总结（欢迎收藏）
webxh6的博客
12-05 662
开头 这些内容送给正在准备面试中的小伙伴，有一些内容会写得特别特别详细，而有一些内容则写得比较少，但是保证里面的很多内容都是干货，很多都有详细的解释，干货都在后面啊，继续往下看吧。。。各位路过的小哥哥小姐姐们，希望看完了对你有所帮助。万字长文~~~如果你看完了所有内容算我输！！！ Let's go!!! 一些JS的基础题 Javascript中的数据类型(8种) 简单数据类型：Number、String、Boolean、undefined、null、Symbol、Bigint(ES2020新增)
面试看这里！！！2020年前端面试知识点（持续更新）
Sestid的博客
10-21 810
this指向： a.如果是一般函数,this指向全局对象window; b.在严格模式下"use strict",为undefined. c.对象的方法里调用,this指向调用该方法的对象. d.构造函数里的this,指向创建出来的实例. 改变this指向：（call，apply，bind） call 、bind 、 apply 这三个函数的第一个参数都是 this 的指向对象，第...
假如你是安全岗的HR，根据岗位需求提出二十个面试问题。岗位需求：1、熟悉主流网络安全产品，如防火墙、防病毒，防 DDOS , IDS / IPS 等；对渗透测试、风险管理、安全评估有一定的理论基础和实践经验； 2、熟悉 TCP / IP 协议，熟悉路由器、交换机等网络设备的工作原理、基本配置；具备一定的分析与解决网络问题的能力；3、熟悉 Unix 、 Linux 、 Windows 操作系统，能够对系统进行安全配置优化与加固；4、熟悉安全体系架构，有一定的信息安全项目经验，有相关资格认证者优先考虑。
04-19
在安全评估工作中，你通常会考虑哪些因素来评估一个系统的安全性和可靠性？ 4、你了解 TCP / IP 协议吗？你对路由器和交换机等网络设备的工作原理和基本配置有哪些认识？ 5、你了解 Unix、Linux、Windows 操作系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值