大数据经典问题集

1.Hadoop的调度机制

1.先入先出FIFO

      Hadoop 中默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。

2.公平调度器（相当于时间片轮转调度）

      为任务分配资源的方法，其目的是随着时间的推移，让提交的作业获取等量的集群共享资源，让用户公平地共享集群。具体做法是：当集群上只有一个任务在运行时，它将使用整个集群，当有其他作业提交时，系统会将TaskTracker节点空间的时间片分配给这些新的作业，并保证每个任务都得到大概等量的CPU时间。配置公平调度器

3.容量调度器

      支持多个队列，每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略，为 了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择 ，同时考虑用户资源量限制和内存限制。但是不可剥夺式。

2.列举你知道的常用的hadoop管理和监控的命令

    -ls  -cat   -text    -cp   -put  -chmod   -chown
    -du  -get   -copyFromLocal   -copyToLocal 
    -mv  -rm   - tail   -chgrp

3.Hadoop的压缩算法

Hadoop 对于压缩格式的是自动识别。如果我们压缩的文件有相应压缩格式的扩展名（比如 lzo，gz，bzip2 等）。

Hadoop 会根据压缩格式的扩展名自动选择相对应的解码器来解压数据，此过程完全是 Hadoop 自动处理，我们只需要确保输入的压缩文件有扩展名。

Hadoop 对每个压缩格式的支持, 详细见下表：

压缩格式         工具         算法         扩展名     多文件     可分割性

DEFLATE  无     DEFLATE  .deflate    不     不

GZIP gzip  DEFLATE  .gzp 不     不

ZIP   zip    DEFLATE  .zip   是     是，在文件范围内

BZIP2        bzip2         BZIP2        .bz2 不     是

LZO  lzop  LZO  .lzo   不     是

如果压缩的文件没有扩展名，则需要在执行 MapReduce 任务的时候指定输入格式。

 

1) Bzip2 压缩效果明显是最好的，但是 bzip2 压缩速度慢，可分割。

 

2) Gzip 压缩效果不如 Bzip2，但是压缩解压速度快，不支持分割。

 

3) LZO 压缩效果不如 Bzip2 和 Gzip，但是压缩解压速度最快！并且支持分割！

 

1.gzip压缩

优点：

压缩率比较高，而且压缩/解压速度也比较快；

hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；

有hadoop native库；

大部分linux系统都自带gzip命令，使用方便。

缺点：不支持split。

应用场景：

当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip文件，运行mapreduce程序的时候通过多个gzip文件达到并发。

hive程序，streaming程序，和java写的mapreduce程序完全和文本处理一样，压缩之后原来的程序不需要做任何修改。

2.lzo压缩

优点：

压缩/解压速度也比较快，合理的压缩率；

支持split，是hadoop中最流行的压缩格式；

支持hadoop native库；

可以在linux系统下安装lzop命令，使用方便。

缺点：

压缩率比gzip要低一些；

hadoop本身不支持，需要安装；

在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）。

应用场景：

一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越明显。

3.snappy压缩

优点：

高速压缩速度和合理的压缩率；

支持hadoop native库。

缺点：

不支持split；

压缩率比gzip要低；

hadoop本身不支持，需要安装；

linux系统下没有对应的命令。

应用场景：

当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；

或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。

4.bzip2压缩

优点：

支持split；

具有很高的压缩率，比gzip压缩率都高；

hadoop本身支持，但不支持native；

在linux系统下自带bzip2命令，使用方便。

缺点：

压缩/解压速度慢；

不支持native。

应用场景：

适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式；

或者输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；

或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程序（即应用程序不需要修改）的情况。

四.Hive UDF编写错误从哪方面调错？

首先查日志，UDF的日志是保存在Hadoop MR的日志文件中，

其次通过错误提示通过管道符grep |查找问题所在，并针对问题进行改进

 

在日志文件过大的情况下，可以通过head tail sed 等指令进行分段查找

 

五.什么是tire树？

Trie树，又称单词查找树、字典树，是一种树形结构，是一种哈希树的变种，是一种用于快速检索的多叉树结构。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：最大限度地减少无谓的字符串比较，查询效率比哈希表高。

     Trie的核心思想是空间换时间。利用字符串的公共前缀来降低查询时间的开销以达到提高效率的目的。

     Trie树也有它的缺点,Trie树的内存消耗非常大.当然,或许用左儿子右兄弟的方法建树的话,可能会好点.

三点特征：

1）根节点不包含字符，除根节点外每一个节点都只包含一个字符。　　

2）从根节点到某一节点，路径上经过的字符连接起来，为该节点对应的字符串。　

3）每个节点的所有子节点包含的字符都不相同。