自己收集整理面试题以及答案,鉴于没有什么标准的答案,如有异议之处还请赐教。
一、内部表和外部表的区别:
1.在创建表的时候,导入数据到外部表,数据并没有移动到自己的数据仓库下,而在自己创建表指定的路径下,而对应于内部表数据是移动到自己的数据仓库下的。
2.在删除表的时候,hive 会将内部表的元数据和数据全部删除,而外部表仅仅只是删除元数据,数据并没有删除。
二、 Hbase的行健怎样创建比较好?列族怎样创建比较好?
Hbase中行健用来检索表中的记录:通过以下三种方式:
1. 通过单个的行健访问
2. 通过行健的范围进行scan
3. 全表扫描:扫描整张表中的所有行
行健是按照字典顺序存储的,创建行健的时候应对应这个排序特点,经常读取的数据放在一起,最近可能被访问的数据放在一起。
列族:不要在一张表中定义太多的列族,当某个列族flush的时候,临近的列族也会因关联效应而被触发flush。
三、三 个datanode当中有一个datanode出错会怎样?
访问数据失败则去其他备份的机器去读取,并将这个数据块再进行复制一次到达备份标准
先按照作业的优先级高低,而后按照作业到达时间的先后进行处理。
计算能力调度
支持多个队列,每个队列采用FIFO调度策略,计算每个队列中正在运行的任务数和其分得的计算资源的比值,选择比值最小的队列,之后采用FIFO策略。
公平调度
同一个队列中的作业共享资源。
异构集群调度
实时调度
五、 Hadoop的压缩算法:
1.用一些包含了压缩并且支持splittable的文件格式,比如Sequence File,RCFile或者Avro文件,这些文件格式我们之后都会讲到。如果为了快速压缩可以使用lzo,lz4或者snappy压缩格式。
2.使用提供splittable的压缩格式,比如,bzip2和索引后可以支持splittable的lzo。
3.提前把文件分成几个块,每个块单独压缩,这样就无需考虑splittable的问题了。
数据倾斜:在执行mapreduce的时候,reduce节点大部分都已经执行完毕,但是总是存在着一个或者几个节点运行较慢,导致整个程序处理时间较长,只是因为某一条key的条数比其他的多很多,所以处理这个条数的节点时间较长,导致某几个节点迟迟运行不完。
解决:
设置一个hash份数N,用来打散key值。
对有重复的key,将1~N添加到key的后面,形成新的key值。
对于key值平均分发到不同的reduce节点,如果需要和其他数据相关联, 为了保证每个reduce节点上都有相关联的key,对另一个key也进行上述处理。
采用调度策略处理数据倾斜问题。
基于抽样分区解决数据倾斜问题(一篇硕士论文)
七、 Hadoop框架中怎么来优化?
Hadoop 框架存在着一些问题:
namenode、jobtracker单点故障,HDFS小文件,jobtracker同时负责监控和调度,负载过大,数据处理的性能。
框架调优:
(1) 应用程序调优:书写程序优化
1. 避免不必要的reduce任务
2. 外部文件引入:对于一些外部文件,如字典,配置文件等需要在task之间共享,可以放到分布式缓存里面DistributedCache
3. 为job添加一个combiner:可以减少shuffle阶段从map task远程拷贝到reduce task的开销
4. 根据数据特征选择使用Writable,也可以根据自己的实际情况书写Writable
5. 重用Writable类型
6. 使用StringBuffer而不是String:SringBuffer是可修改的,String是只读的,如果需要修改,会产生临时对象,StringBuffer不会产生临时对象。
(2) 对hadoop参数调优
(3) 系统实现角度调优:根据系统实现的要求,可能会修改源码等方面。
八、shuffle阶段:
shuffle阶段:将map的输出作为reduce的输入的过程就是shuffle了,这个是mapreduce优化的重点地方。这里我不讲怎么优化shuffle阶段,讲讲shuffle阶段的原理,因为大部分的书籍里都没讲清楚shuffle阶段。Shuffle一开始就是map阶段做输出操作,一般mapreduce计算的都是海量数据,map输出时候不可能把所有文件都放到内存操作,因此map写入磁盘的过程十分的复杂,更何况map输出时候要对结果进行排序,内存开销是很大的,map在做输出时候会在内存里开启一个环形内存缓冲区,这个缓冲区专门用来输出的,默认大小是100mb,并且在配置文件里为这个缓冲区设定了一个阀值,默认是0.80(这个大小和阀值都是可以在配置文件里进行配置的),同时map还会为输出操作启动一个守护线程,如果缓冲区的内存达到了阀值的80%时候,这个守护线程就会把内容写到磁盘上,这个过程叫spill,另外的20%内存可以继续写入要写进磁盘的数据,写入磁盘和写入内存操作是互不干扰的,如果缓存区被撑满了,那么map就会阻塞写入内存的操作,让写入磁盘操作完成后再继续执行写入内存操作,前面我讲到写入磁盘前会有个排序操作,这个是在写入磁盘操作时候进行,不是在写入内存时候进行的,如果我们定义了combiner函数,那么排序前还会执行combiner操作。每次spill操作也就是写入磁盘操作时候就会写一个溢出文件,也就是说在做map输出有几次spill就会产生多少个溢出文件,等map输出全部做完后,map会合并这些输出文件。这个过程里还会有一个Partitioner操作,对于这个操作很多人都很迷糊,其实Partitioner操作和map阶段的输入分片(Input split)很像,一个Partitioner对应一个reduce作业,如果我们mapreduce操作只有一个reduce操作,那么Partitioner就只有一个,如果我们有多个reduce操作,那么Partitioner对应的就会有多个,Partitioner因此就是reduce的输入分片,这个程序员可以编程控制,主要是根据实际key和value的值,根据实际业务类型或者为了更好的reduce负载均衡要求进行,这是提高reduce效率的一个关键所在。到了reduce阶段就是合并map输出文件了,Partitioner会找到对应的map输出文件,然后进行复制操作,复制操作时reduce会开启几个复制线程,这些线程默认个数是5个,程序员也可以在配置文件更改复制线程的个数,这个复制过程和map写入磁盘过程类似,也有阀值和内存大小,阀值一样可以在配置文件里配置,而内存大小是直接使用reduce的tasktracker的内存大小,复制时候reduce还会进行排序操作和合并文件操作,这些操作完了就会进行reduce计算了。
九、sqoop在导入mysql时,如何让数据不重复导入?
使用--参数进行不重复导入:
sqoop import --connect jdbc:mysql://localhost:3306/hive --username root
--password hadoop --table TBLS --fields-terminated-by '\t'
--null-string '**' -m 1 --append --hive-import
--check-column 'TBL_ID' --incremental append --last-value 6(不重复导入 检查列参数 增量导入)
sqoop简单的操作
1.把数据从mysql导入到hdfs(默认是/user/<username>)中
sqoop import --connect jdbc:mysql://localhost:3306/hive --username root
--password hadoop --table TBLS --fields-terminated-by '\t' --null-string '**'
-m 1 --append --hive-import
2.把数据从hdfs导出到mysql中
sqoop export --connect jdbc:mysql://localhost:3306/hive --username root
--password hadoop --table id(自己先创建表) --fields-terminated-by '\t'
--export-dir '/id' (将id文件传到hdfs上)
3.设置为作业,运行作业
sqoop job --create myjob -- import --connect jdbc:mysql://localhost:3306/hive
--username root --password hadoop --table TBLS --fields-terminated-by '\t'
--null-string '**' -m 1 --append --hive-import
4. 查看作业,运行作业,删除作业
sqoop --list
sqoop --exec myjob
sqoop --delete myjob
5. 导入导出的事务是以Mapper任务为单位,有几个Mapper就有几个事物。