大数据岗位最新面试题~3.18

 随着互联网时代的不断发展，现在越来越多的人都选择从事IT行业，然而能够在这个行业十几年，中间只换过两三次公司，那也算是行业界的一股清流，然而现在的公司并没有那么好做，都想进入BATJ,但是发现自己硬是差了很多，就连普通的企业都困难，这是为什么呢？

难就难在面试题！下面分享我一个朋友在面试大数据岗位的时候所做的面试题，可以先看看：

1. JAVA相关
   1. List与Set的区别？
   2. HashMap、HashTabale的区别及优缺点？
   3. String, StringBuffer，StringBuilder的区别
   4. 请使用JAVA实现二分查找
   5. Java中有两个线程怎样等待一个线程执行完毕
   6. 简单描述一下java的gc机制

 

1. Linux相关

               1.用shell命令在当前目录下找出包含字母a的文件

               2.linux用什么命令查cpu,硬盘，内存的信息？

 

1. Hadoop相关
   1. 简单概述hdfs原理，以及各个模块的职责
   2. 谈谈数据倾斜，如何发生的，并给出优化方案
   3. 怎样快速的杀死一个job
   4. Parquet数据格式理解
   5. N个datanode中有一个datanode出现错误会怎样？
   6. 怎样决定mapreduce的中的map以及reduce的数量

 

1. Hive相关

                1. hive是怎样保存元数据的

                2. UDF函数，作用是什么，如何实现

                3. hive分区表原理，动态分区有什么注意事项，作用是什么？

 

1. Hbase相关

               1. Hbase的rowkey怎么创建比较好？列族怎么创建比较好？

               2 .Hbase常用过滤器

               3 .Hbase预分区有什么好处？

               4 .Hbase大量数据导入方式有哪些？导入太慢怎么办？

 

1. Spark相关

               1.如何理解Spark2的DataSet

                2 .Spark链接kafka的方式并简单说明优缺点

                3 .SparkStreaming有哪些调优操作

 

百度百科也说过大数据对现在社会的影响是这样概述的：

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

看到这，你是不是觉得大数据真的很神奇也很厉害，也许你肯定会想大数据肯定很难，但不要被这些吓到了！