人生的每一个阶段,都有自己应该做的事情,我们在大数据时代,该学习大数据技术就应该好好学习大数据技术,将自己的技术学到精深,学到大数据技术的精华。该面试找工作的时候,也要做好一切准备,无论是礼仪的学习、说话的技巧还是大数据的面试题也是要面面俱到的。恰巧小编整理了一份大数据面试题,供你们免费下载。
1. scala 隐函数关键字
implicit
2. val x=y=1结果
1)x、y都是var,x变为Unit
2)都是val,报错
3.java内存模型
堆内存、栈内存、方法区
栈内存:保存局部变量
堆内存:存储数组和对象
方法区:代码区、字符串常量池、静态区
4.Hbase优化
1) 表设计
建表时就分区,rowkey设置定长(64字节),CF2到3个
Max Versio,Time to live,Compact&Split
2) 写表
多Htable并发写
Htable参数设置,手动flush,降低IO
WriteBuffer
批量写
多线程并发写
3) 读表
多Htable并发读
Htable参数设置
批量读
释放资源
缓存查询结果
5. MapReduce优化
1. 任务调度
I/O 方面:Hadoop 会尽量将 Map 任务分配给 InputSplit 所在的机器,以减少网
络 I/O 的消耗。
2.数据预处理与 InputSplit 的大小
合理地设置 block块大小是很重要的调节方式。除此之外,也可以通过合理地
设置 Map 任务的数量来调节 Map 任务的数据输入。
3. Map 和 Reduce 任务的数量
当 Reduce 任务的数量是任务槽的 1.75 倍时,执行速度快的机器可以获得更多
的 Reduce 任务,因此可以使负载更加均衡,以提高任务的处理速度。
4. Combine 函数
MapReduce 框架运行用户写的 combine 函数用于本地合并,这会大大减少网
络 I/O 操作的消耗
以上是小编的节选,更多的面试题可以直接私信小编。