大数据工程师入职京东年薪37w（附：面试真题分享）

总结：引导面试官到自己擅长的领域，掌握主动权，问题回答不一定完整，说出关键点即可。

1、项目规模，一天/月数据量，各组件版本？

数据规模：一般100M数据由300万条数据；数据量：上百G；条数：达到几十亿条数据

美团数据规模：负责每天数百GB的数据存储和分析

2、Spark 2.x 和Spark 1.x版本的区别？

1）Spark2.x实现了Spark sql和Hive Sql操作API的统一。

2）Spark2.0中引入了 SparkSession 的概念，它为用户提供了一个统一的切入点来使用 Spark 的各项功能， 统一了旧的SQLContext与HiveContext

3） 统 一 DataFrames 和 Datasets 的 API

4）Spark Streaming基于Spark SQL(DataFrame / Dataset )构建了high-level API，使得Spark Streaming充分受益Spark SQL的易用性和性能提升

 

3、项目中的遇见的问题，如何解决？【讲述数据倾斜】

 

4、Hive元数据存储了哪些信息？

存储了hive中所有表格的信息，包括表格的名字，表格的字段，字段的类型就是表的定义

 

5、数据去重怎么做？【UDF使用】

在hive数据清洗这里总结三种常用的去重方式

1.distinct

2.group by

3.row_number()

 

实例：

SELECT tel, link_name, certificate_