大数据开发面试的总结-第五篇

1、transformation和action的区别

操作	共同点	不同点
transformation	支持RDD操作，主要是实现从一个RDD到另一个RDD	，transaction操作是不会触发spark程序的执行的，，只是记录了对RDD所作的操作，但是不会自发的执行。
action		支持RDD操作， 主要是针对RDD做最后的操作，比如遍历、reduce、保存到文件等，并可以返回结果给driver程序。

1.1、transaction常见算子：

算子	介绍
map	将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD
filter	对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除。
flatMap	与map类似，但是对每个元素都可以返回一个或多个新元素。
gropuByKey	根据key进行分组，每个key对应一个Iterable
reduceByKey	对每个key对应的value进行reduce操作。
sortByKey	对每个key对应的value进行排序操作。
join	对两个包含<key,value>对的RDD进行join操作，每个key join上的pair，都会传入自定义函数进行处理。
cogroup	同join，但是是每个key对应的Iterable都会传入自定义函数进行处理。

1.2、action常见算子：

算子	介绍
reduce	将RDD中的所有元素进行聚合操作。第一个和第二个元素聚合，值与第三个元素聚合，值与第四个元素聚合，以此类推。
collect	将RDD中所有元素获取到本地客户端。
count	获取RDD元素总数。
take(n)	获取RDD中前n个元素。
saveAsTextFile	将RDD元素保存到文件中，对每个元素调用toString方法
countByKey	对每个key对应的值进行count计数。
foreach	遍历RDD中的每个元素。

1.3、transformation和action原理剖析图

2、Hive中如何查看执行日志

HIVE是运行在hadoop上，最后又被翻译为MapReduce程序，通过yarn来执行。所以如果想解决HIVE中出现的错误，需要分成几个过程：

1. HIVE自身翻译成为MR之前的解析错误
2. Hadoop文件系统的错误
3. YARN调度过程中的错误

上述2,3过程中的错误，请参考hadoop相关的教程，这里只是提醒大家思考的时候需要考虑到这两个方面的原因。搞清楚哪一个过程出问题之后采取进一步分析。

1.HIVE默认log文件保存的地方
/tmp/<user.name>文件夹的hive.log文件中，全路径就是/tmp/当前用户名/hive.log。

2.如何定位当前job的log信息
每个job执行后都会产生Query ID，在hive.log中搜索关键字。确认时间一致后，之后的log就是当前job的信息。

Query ID = root_20171108160217_d51b321f-1902-4353-ae5b-2ebe5227f82f

3.如何查看更多的错误信息
在默认的日志级别情况下，是不能将DEBUG信息输出，这样一来出现的各种详细的错误信息都是不能数错的。但是我们可以通过以下两种方式修改log4j输出的日志级别，从而利用这些调试日志进行错误定位，具体做法如下：

 $ hive --hiveconf hive.root.logger=DEBUG,console （hive启动时用该命令替代）

或者在${HIVE_HOME}/conf/hive-log4j.properties文件中找到hive.root.logger属性，并将其修改为下面的设置

hive.root.logger=DEBUG,console

3、参考

Hive查看执行日志：https://blog.csdn.net/weixin_30729609/article/details/100000791
spark系列一：transaction和action介绍：https://blog.csdn.net/cjx42518041/article/details/100355026