大数据技术点

GScallion

已于 2022-10-18 17:37:39 修改

阅读量268

点赞数

分类专栏：数据仓库文章标签：大数据

于 2021-08-16 16:25:39 首次发布

本文链接：https://blog.csdn.net/qq_24325581/article/details/119735930

版权

数据仓库专栏收录该内容

6 篇文章 0 订阅

订阅专栏

一、数据结构

一、排序算法

1、快速排序
数据结构与算法：快速排序
2、冒泡、插入、归并、拓扑排序
10分钟详解：算法面试5大必考排序方式
 Java 插入排序法
 归并排序算法

二、力扣刷题

1、二叉树

1、109. 有序链表转换二叉搜索树（二分法）
视频解题
 详细代码
2、46. 全排列（回溯法）
视频解题

2、数组

1、304. 二维区域和检索 - 矩阵不可变（DP）
视频解题
 详细代码
2、33. 搜索旋转排序数组（二分法）
视频解题
3、两数组相加问题
leetcode 989 号算法题：数组形式的整数加法
https://leetcode-cn.com/problems/add-to-array-form-of-integer/solution/jian-dan-yi-dong-javacpythonjs-pei-yang-a8ofe/
leetcode 66 号算法题：加 1
https://leetcode-cn.com/problems/plus-one/solution/jian-dan-yi-dong-javacpythonjs-pei-yang-lf0sg/
leetcode 415 号算法题：字符串相加
https://leetcode-cn.com/problems/add-strings/solution/jian-dan-yi-dong-javacpythonjs-pei-yang-4yj7t/
leetcode 67 号算法题：二进制求和
https://leetcode-cn.com/problems/add-binary/solution/jian-dan-yi-dong-javacpythonjs-pei-yang-7xcrw/
leetcode 2 号算法题：两数相加
https://leetcode-cn.com/problems/add-two-numbers/solution/jian-dan-yi-dong-javacpythonjs-pei-yang-y2w6g/

3、动态规划

leetcode 300. 最长递增子序列
https://leetcode-cn.com/problems/longest-increasing-subsequence/
https://www.bilibili.com/video/BV1Wf4y1y7ou?from=search&seid=14567653004477061775&spm_id_from=333.337.0.0

二、Java

一、多线程

1、并行串行
此处往下题目解析均在此链接 https://segmentfault.com/a/1190000037600050
1、创建线程的三种方式
2、线程有哪些状态
3、线程池的状态有那些
4、使用线程池的优势
5、当提交一个新任务到线程池时，线程池的处理流程
6、ThreadPoolExecutor执行execute方法分下面 4 种情况
7、什么是 CAS ，CAS 有什么缺点，对 CAS 中的 ABA 产生有解决方案吗
深入浅出CAS
CAS详解
8、CAS 自旋导致的问题
9、CAS 范围不能灵活控制
10、什么是 AQS
Java 并发高频面试题：聊聊你对 AQS 的理解？
11、了解 AQS 共享资源的方式吗
12、Atomic 原子有哪些
13、列举几个AtomicLong 的常用方法
14、AtomicInteger 和 synchronized 的异同点
深入分析Synchronized原理(阿里面试题)
15、原子类和 volatile 有什么异同
Java面试官最爱问的volatile关键字
16、AtomicLong 可否被 LongAdder 替代
17、CountDownLatch、CyclicBarrier、Semaphore什么用途，区别
Java并发编程：CountDownLatch、CyclicBarrier和Semaphore
18、公平锁与非公平锁
19、synchronized 和 lock 有什么区别，synchronized 和 Lock 如何选择
20、Lock接口的主要方法，tryLock、lock和lockInterruptibly的区别
什么是可中断锁
21、ReentrantReadWriteLock 读写锁的获取规则
22、ReentrantReadWriteLock读锁应该插队吗？什么是读写锁的升降级
23、怎么防止死锁
24、Condition 类和 Object 类锁方法区别区别
25、什么是阻塞队列
26、列举几个常见的阻塞队列
27、线程池中 sumbit() 和 execute() 方法有什么区别
28、Executors工厂方法创建线程池的方法
java newCachedThreadPool 线程池使用在什么情况下
29、ThreadPollExecutor 构造方法
此处往上题目解析均在此链接 https://segmentfault.com/a/1190000037600050

二、集合

1、什么是集合
2、集合和数组的区别
3、使用集合框架的好处
4、常用的集合类有哪些？
5、List，Set，Map三者的区别？List、Set、Map 是否继承自 Collection 接口？List、Map、Set 三个接口存取元素时，各有什么特点？
6、哪些集合类是线程安全的？
7、Java集合的快速失败机制 “fail-fast”？
8、怎么确保一个集合不能被修改？
9、迭代器 Iterator 是什么？
10、Iterator 怎么使用？有什么特点？
11、如何边遍历边移除 Collection 中的元素？
12、Iterator 和 ListIterator 有什么区别？
13、遍历一个 List 有哪些不同的方式？每种方法的实现原理是什么？Java 中 List 遍历的最佳实践是什么？
14、说一下 ArrayList 的优缺点
15、如何实现数组和 List 之间的转换？
16、ArrayList 和 LinkedList 的区别是什么？
17、ArrayList 和 Vector 的区别是什么？
18、插入数据时，ArrayList、LinkedList、Vector谁速度较快？阐述 ArrayList、Vector、LinkedList 的存储性能和特性？
19、多线程场景下如何使用 ArrayList？
20、为什么 ArrayList 的 elementData 加上 transient 修饰？
21、List 和 Set 的区别
22、说一下 HashSet 的实现原理？
23、HashSet如何检查重复？HashSet是如何保证数据不可重复的？
24、hashCode（）与equals（）
25、==与equals的区别
26、ArrayList主要的成员变量、常用方法，扩容机制
ArrayList的扩容机制
27、HashMap 底层，初始容量，扩容机制
白话解析Java中HashMap底层实现原理
 JDK1.8中HashMap的红黑树
 java中hashmap容量的初始化
28、HashMap put get 等操作理想的时间复杂度是多少，为了降低时间复杂度hashmap做了哪些优化
HashMap的时间复杂度分析
29、HashMap为什么线程不安全
HashMap为什么线程不安全
30、ArrayList为什么线程不安全
ArrayList 为什么线程不安全
31、线程安全、线程不安全的理解
线程安全和线程不安全的理解
32、ConcurrentHashMap 如何保证线程安全
面试必问之 ConcurrentHashMap 线程安全的具体实现方式
33、ConcurrentHashMap 中 get 的过程
https://segmentfault.com/a/1190000037600050
34、ConcurrentHashMap 中 put 的过程
https://segmentfault.com/a/1190000037600050

三、JVM内存管理

JVM 面试题 68 问，面试又可以多扯一个小时了！

四、Java SE基础知识

string、stringBuffer、stringBuilder的区别
String、StringBuffer和StringBuilder的区别

五、异常

三、Hive

一、架构

1、Hive架构与工作原理
Hive架构与工作原理
2、Hive表关联查询，如何解决数据倾斜的问题？
大数据Hive面试题（一）
Hive 如何使用mapjoin
3、Hive的HSQL转换为MapReduce的过程？
大数据Hive面试题（一）
Hive架构与工作原理
4、Hive底层与数据库交互原理
hive 底层与数据库交互原理
5、Hive的两张表关联，使用MapReduce怎么实现
大数据Hive面试题（一）
Hive中两张表关联，使用MapReduce怎么实现
 MapReduce实现join
6、请谈一下Hive的特点，Hive和RDBMS有什么异同？
大数据Hive面试题（一）
7、请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思
大数据Hive面试题（一）
Hive中order by，sort by，distribute by，cluster by的区别
8、写出hive中split、coalesce及collect_list函数的用法
大数据Hive面试题（一）
9、Hive有哪些方式保存元数据，各有哪些特点
大数据Hive面试题（一）
10、Hive内部表和外部表的区别
大数据Hive面试题（一）
11、Hive 中的压缩格式TextFile、SequenceFile、RCfile 、ORCfile各有什么区别
大数据Hive面试题（一）
12、所有的Hive任务都会有MapReduce的执行吗？
大数据Hive面试题（一）
13、Hive的函数：UDF、UDAF、UDTF的区别
大数据Hive面试题（一）
14、说说对Hive桶表的理解
大数据Hive面试题（一）
Hive分桶表的使用场景以及优缺点分析
15、hive列转行和行转列
Hive–行转列（Lateral View explode()）和列转行（collect_set() 去重）
16、为什么不使用Hive索引
Hive索引
17、Hive调优
Hive常用参数调优十二板斧
18、Udf udtf udaf是什么区别
Udf从开发到使用的整个流程
有做过哪些udf，为什么要用udf实现
19、Hive和spark的数据倾斜的区别
20、hiveServer2是什么
一起了解一下HiveServer2
21、hql如何翻译成MR的过程
hql语法转MR任务
22、Hive调优
面试|不可不知的十大Hive调优技巧最佳实践
23、Hive分析窗口函数 GROUPING SETS,GROUPING__ID,CUBE,ROLLUP
Hive分析窗口函数(五) GROUPING SETS,GROUPING__ID,CUBE,ROLLUP

二、HQL

1、一个SQL查询连续三天的流量100以上的数据值
2、窗口函数
3、group by | 窗口函数 | case when
4、窗口函数–最大连续问题
5、Hive统计新增,日活和留存率
6、26道sql题
7、[Hive基础]–Where and Having

四、Flink

运行时架构图
Graph之间关系
Flink 原理与实现：架构和拓扑概览
Flink任务提交流程
Flink资源配置
端到端的一致性
下列题目解析在该链接中 https://www.jianshu.com/p/3e8fadf6a0de
Flink 相比传统的 Spark Streaming 有什么区别
Flink 组件栈
Apache Flink：特性、概念、组件栈、架构及原理分析
Flink集群的角色
Task Slot 进行资源管理
Flink 分区策略
Flink 并行度
Flink 有没有重启策略？
Flink 中分布式缓存
Flink 中广播变量
Flink中的窗口
Flink中的状态存储
Flink中的时间窗口
Flink 中水印
Flink 是如何支持批流一体的？
Flink 中Task如何做到数据交换
Flink 是如何容错的
Flink的checkpoint机制，分布式快照，barrier
面试被问到Flink的checkpoint问题
Flink 如何保证 exactly-Once 语义
Flink 如何做内存管理
Flink 的序列化
Flink中window 出现数据倾斜怎么解决？
Flink 任务延时高，如何入手？
Flink 反压原理
Flink的处理背压原理及问题-面试必备
Operator Chains（算子链）这个概念你了解吗
Flink 什么情况下才会把 Operator chain 在一起形成算子链？
Flink Job 的提交流程
Flink “三层图” 结构
JobManager 在集群中扮演角色
TaskManager 在集群中扮演的角色
Flink 计算资源调度如何实现？
Flink 的数据抽象及数据交换过程？
Flink 中分布式快照机制如何实现？
上述题目解析在该链接处 https://www.jianshu.com/p/3e8fadf6a0de
Flink内存模型和内存管理
一文带你彻底了解大数据处理引擎Flink内存管理
Flink双流Join和维表Join
Flink：双流Join和维表Join
Flink双流处理:实时对账实现

五、Spark

此处往下题目解析 https://zhuanlan.zhihu.com/p/49169166
1 Kafka 分布式的情况下，如何保证消息的顺序?
2 对于 Spark 中的数据倾斜问题你有什么好的方案？
spark调优篇-数据倾斜(汇总)
3 你所理解的 Spark 的 shuffle 过程？
简要MR与Spark在Shuffle区别
4 Spark有哪些聚合类的算子,我们应该尽量避免什么类型的算子？
5 spark on yarn 作业执行流程，yarn-client 和 yarn cluster 有什么区别
6 Spark为什么快，Spark SQL 一定比 Hive 快吗
7 容错方法
8 RDD, DAG, Stage怎么理解？
9 RDD 如何通过记录更新的方式容错
10 宽依赖、窄依赖怎么理解？
11 Job 和 Task 怎么理解
12 Spark 血统的概念
13 任务的概念
14 容错方法
15 Spark 粗粒度和细粒度
17 Transformation和action是什么？区别？举几个常用方法
18 Spark作业提交流程是怎么样的
Spark任务提交方式和执行流程
 此处往上题目解析 https://zhuanlan.zhihu.com/p/49169166
19 Spark架构
Spark 面试总结
20 submit提交参数
spark-submit 指令详解
21 shuffle中的聚合用的什么算法
简要MR与Spark在Shuffle区别
22 发生oom的解决方案
spark调优篇-oom 优化(汇总)
Spark数据倾斜问题解决以及造成的spark OOM问题
 Spark OOM解决办法
 Spark之OOM解决方案
 spark executor出现OOM内存溢出问题解决方案
内存溢出总结：
一、Driver 内存不够
原因：
1、读取数据太大
-、增加Driver内存，–driver-memory
2、数据回传
-、collect会造成大量数据回传Driver，使用foreach
二、Executor 内存不够
原因：
1、map 类操作产生大量数据，包括 map、flatMap、filter、mapPartitions等
-、使用repartition，减少每个 task 计算数据的大小，从而减少每个 task 的输出
-、减少中间输出：用 mapPartitions 替代多个 map，减少 Executor 内存压力
-、数据跨节点移动是非常影响性能的，网络传输耗时，多次传输消耗内存，broadcast 在某些场景可以减少数据移动
-、使用谓词下推方式，filter 之后再 join
-、使用cache and persist，缓存 RDD 既可以节省内存，也可以提高性能
-、避免使用groupByKey这种非combine的操作，尽量使用reduceByKey这种有combine的操作
2、shuffle 后产生数据倾斜
-、join时倾斜使用map端join 或加盐处理
-、聚合操作倾斜使用两阶段聚合
-、shuffle量大时，调整–conf spark.memory.fraction(默认0.6)
3、coalesce调用导致内存溢出
coalesce操作是窄依赖，reduce阶段的task数量会缩小到对应map端操作的几倍，例如10倍
为避免从头到尾都是10个task执行，可以用repartition替换(有shuffle操作)，或直接增加source端的并行数
4、RDD中大量对象容易导致OOM
-、RDD中存在大量的重复数据，或者Array中需要存储大量重复数据，可以将重复数据转化为String，能有效减少内存使用
因为字符串不管多少个，都只有一个String对象，指向常量池
算子内操作尽量能用基本数据类型就不用引用类型，能用数组就不用集合，另外还比如字符串拼接，
用StringBuffer代替+连接等等。这些方式不但可以节省空间还能增加算子的执行效率
5、shuffle reduce端缓冲大小以避免OOM
-、map端会实时将数据写入buffer中，reduce端从buffer中一边拉取一遍计算，reduce每次默认拉取最大值是48M，
但当上游数据量大时，reduce每次拉取数据全部达到自己缓冲最大极限时就会发生OOM，此时需要减少每次拉取
数据量，spark.reducer.maxSizeInFlight=48改为spark.reducer.maxSizeInFlight=24 减少reduce端task缓冲的大小，
宁愿每次少拉取一点，多拉取几次，不过这样性能会下降

23 Rdd、DataStream、DataSet区别
谈谈RDD、DataFrame、Dataset的区别和各自的优势
 且谈 Apache Spark 的 API 三剑客：RDD、DataFrame 和 Dataset

六、Kafka

下列问题解析在该处 https://zhuanlan.zhihu.com/p/282993811
1、consumer 是推还是拉？
2、kafka 维护消费状态跟踪的方法有什么？
3、讲一下主从同步
4、为什么需要消息系统，mysql 不能满足需求吗？
5、Zookeeper 对于 Kafka 的作用是什么？
6、数据传输的事务定义有哪三种？
7、Kafka 判断一个节点是否还活着有那两个条件？
8、Kafka 与传统 MQ 消息系统之间有什么区别
9、消费者如何不自动提交偏移量，由应用提交？
10、消费者故障，出现活锁问题如何解决？
11、如何控制消费的位置
上述问题解析在该处 https://zhuanlan.zhihu.com/p/282993811
下列问题解析在该处 https://developer.51cto.com/art/202003/611798.htm#topx
12、架构
13、存储机制
14、数据可靠性保证
15、分区分配策略
16、offset维护
上述问题解析在该处 https://developer.51cto.com/art/202003/611798.htm#topx
下列问题解析在该处 https://github.com/Snailclimb/JavaGuide/blob/master/docs/system-design/distributed-system/message-queue/Kafka%E5%B8%B8%E8%A7%81%E9%9D%A2%E8%AF%95%E9%A2%98%E6%80%BB%E7%BB%93.md
Kafka 是什么？主要应用场景有哪些？
和其他消息队列相比,Kafka的优势在哪里？
队列模型了解吗？Kafka 的消息模型知道吗？
什么是Producer、Consumer、Broker、Topic、Partition？
Kafka 的多副本机制了解吗？带来了什么好处？
Zookeeper 在 Kafka 中的作用知道吗？
Kafka 如何保证消息的消费顺序？
Kafka 如何保证消息不丢失
上述问题解析在该处 https://github.com/Snailclimb/JavaGuide/blob/master/docs/system-design/distributed-system/message-queue/Kafka%E5%B8%B8%E8%A7%81%E9%9D%A2%E8%AF%95%E9%A2%98%E6%80%BB%E7%BB%93.md
Kafka保证消息不重复
Kafka保证消息不重复

七、HBase

此处往下题目答案在此处 https://segmentfault.com/a/1190000019959411
1、HBase架构组件
2、第一次读和写操作
3、HBase Meta Table
4、Region Server 组成
5、HBase 写数据步骤
6、HBase MemStore
7、HBase Region Flush
8、HBase HFile
9、HBase Read 合并
10、HBase Minor Compaction 和 HBase Major Compaction
11、Region 分裂
12、Read 负载均衡
13、HDFS 数据备份
14、HBase 故障恢复
此处往上题目答案在此处 https://segmentfault.com/a/1190000019959411
15、HBase表rowkey设计
面试，HBase如何设计rowkey
16、HBase预分区
https://blog.csdn.net/Nougats/article/details/72723172
http://www.louisvv.com/archives/1989.html

八、Redis

下列问题解析在此处 https://blog.csdn.net/ThinkWon/article/details/103522351
概述
什么是Redis
Redis有哪些优缺点
为什么要用 Redis /为什么要用缓存
为什么要用 Redis 而不用 map/guava 做缓存?
Redis为什么这么快
数据类型
Redis有哪些数据类型
Redis的应用场景
持久化
什么是Redis持久化？
Redis 的持久化机制是什么？各自的优缺点？
如何选择合适的持久化方式
Redis持久化数据和缓存怎么做扩容？
过期键的删除策略
Redis的过期键的删除策略
Redis key的过期时间和永久有效分别怎么设置？
我们知道通过expire来设置key 的过期时间，那么对过期的数据怎么处理呢?
内存相关
MySQL里有2000w数据，redis中只存20w的数据，如何保证redis中的数据都是热点数据
Redis的内存淘汰策略有哪些
Redis主要消耗什么物理资源？
Redis的内存用完了会发生什么？
Redis如何做内存优化？
线程模型
Redis线程模型
Redis 到底是单线程还是多线程
事务
什么是事务？
Redis事务的概念
Redis事务的三个阶段
Redis事务相关命令
事务管理（ACID）概述
Redis事务支持隔离性吗
Redis事务保证原子性吗，支持回滚吗
Redis事务其他实现
集群方案
哨兵模式
官方Redis Cluster 方案(服务端路由查询)
基于客户端分配
基于代理服务器分片
Redis 主从架构
Redis集群的主从复制模型是怎样的？
生产环境中的 redis 是怎么部署的？
说说Redis哈希槽的概念？
Redis集群会有写操作丢失吗？为什么？
Redis集群之间是如何复制的？
Redis集群最大节点个数是多少？
Redis集群如何选择数据库？
分区
Redis是单线程的，如何提高多核CPU的利用率？
为什么要做Redis分区？
你知道有哪些Redis分区实现方案？
Redis分区有什么缺点？
分布式问题
Redis实现分布式锁
如何解决 Redis 的并发竞争 Key 问题
分布式Redis是前期做还是后期规模上来了再做好？为什么？
什么是 RedLock
缓存异常
缓存雪崩
缓存穿透
缓存击穿
缓存预热
缓存降级
热点数据和冷数据
缓存热点key
常用工具
Redis支持的Java客户端都有哪些？官方推荐用哪个？
Redis和Redisson有什么关系？
Jedis与Redisson对比有什么优缺点？
其他问题
Redis与Memcached的区别
如何保证缓存与数据库双写时的数据一致性？
Redis常见性能问题和解决方案？
Redis官方为什么不提供Windows版本？
一个字符串类型的值能存储最大容量是多少？
Redis如何做大量数据插入？
假如Redis里面有1亿个key，其中有10w个key是以某个固定的已知的前缀开头的，如果将它们全部找出来？
使用Redis做过异步队列吗，是如何实现的
Redis如何实现延时队列
Redis回收进程如何工作的？
Redis回收使用的是什么算法？
上述问题解析在此处 https://blog.csdn.net/ThinkWon/article/details/103522351

九、CK

1、CK表引擎

十、数仓

一、数仓建模理论

十一、MySQL

1、B-树和B+树的区别
面试官问你B树和B+树，就把这篇文章丢给他
2、Mysql索引：有哪些索引、区别，建索引的几种方式
MySQL索引原理及慢查询优化
 Mysql索引（一篇就够le）
3、InnoDB与MyISAM等存储引擎对比
关于MySQL索引面试题的6连炮
4、数据库三范式
MySql–数据库设计三范式
 数据库逻辑设计之三大范式通俗理解，一看就懂，书上说的太晦涩
 下列问题解析在此处 https://segmentfault.com/a/1190000040177994#item-1
索引是什么？
索引有哪些优缺点？
MySQL有哪几种索引类型？
说一说索引的底层实现？
为什么索引结构默认使用B+Tree，而不是B-Tree，Hash，二叉树，红黑树？
讲一讲聚簇索引与非聚簇索引？
非聚簇索引一定会回表查询吗？
联合索引是什么？为什么需要注意联合索引中的顺序？
讲一讲MySQL的最左前缀原则?
讲一讲前缀索引？
了解索引下推吗？
怎么查看MySQL语句有没有用到索引？
为什么官方建议使用自增长主键作为索引？
如何创建索引？
创建索引时需要注意什么？
建索引的原则有哪些？
使用索引查询一定能提高查询的性能吗？
什么情况下不走索引（索引失效）？
上述问题解析在此处 https://segmentfault.com/a/1190000040177994#item-1

十二、Hadoop

一、HDFS

1、Hdfs的读写流程
HDFS读写流程（史上最精炼详细）
2、HDFS高可用原理
大数据面试之HDFS高可用原理

二、MapReduce

1、Mapreduce架构，执行过程，底层原理，有几次分组
MapReduce之Shuffle过程详述
 通俗易懂地理解MapReduce的工作原理
2、MR 过程中有几次排序过程
MapReduce程序中的经过几次排序?三次
3、MR的shuffle和Spark的shuffle有什么区别
简要MR与Spark在Shuffle区别
4、MR wordcount
java 编写MR程序之 - WordCount 及解析
5、Map默认是HashPartitioner 如何自定义分区
MR之partition自定义分区器

十三、YARN

YARN架构
ResourceManager介绍
NodeManager介绍
ApplicationMaster介绍
YARN 的任务提交流程

十四、业务

1、Flink实现点击排行
Flink实时计算topN热榜
2、Flink计算PV UV
Flink统计当日的UV、PV
Flink 计算 PV UV

十五、OLAP

1、技术选型 | OLAP大数据技术哪家强

十六、SQL

一、sql语法

二、sql原理

GScallion

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据技术点

一、数据结构二、Java一、多线程1、并行串行2、jdk提供的线程池有哪几个，优缺点是什么3、自定义线程池涉及到的几个参数是什么，一个新线程提交到线程池的处理流程3、多线程就涉及到锁跟计数器4、JUC包，几个常问点5、 AbstractQueuedSynchronizer6、 volatile二、集合1、什么是集合2、集合和数组的区别3、使用集合框架的好处4、常用的集合类有哪些？5、List，Set，Map三者的区别？List、Set、Map 是否继承自 Collection
复制链接

扫一扫