上海极贝科技笔试题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/big_data1/article/details/80874302

一、Java中map,list,set的区别是什么?

1.继承的接口不同

List和set接口都是继承于Collection接口的,而Map接口不是,他是一个顶层接口。

2.自身特点

List:用来处理序列的。对于放入的元素是有序的并且可以重复

Set:用来处理集合的。对于放入的元素是无序的并且不可重复

Map:用来处理键值对。Key值不能重复,如果重复,则会被覆盖,并且放入无序。


二、请用shell命令把hadoop集群中的某一个文件下的所有文件分发到其他的机器上?

方式一:scp   -r  /opt  root@10.10.10.10:/opt

-r表示递归复制

方式二:rcp  -r /opt   root@10.10.10.10:/opt

 

三、如何正确杀死一个运行在hadoop中的job?

1.查看当前正在执行的进程:

sh  hadoop job -list

2.执行杀死进程的命令:

hadoop job -kill job_201212111628_11166

 

四、在做hbase和hive表设计时,如何正确选择一种合适的数据压缩算法?

Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装native库才可以支持。

其中:

1)GZIP的压缩率最高,但是其实CPU密集型的,对CPU的消耗比其他算法要多,压缩和解压速度也慢;

2)LZO的压缩率居中,比GZIP要低一些,但是压缩和解压速度明显要比GZIP快很多,其中解压速度快的更多;

3)Zippy/Snappy的压缩率最低,而压缩和解压速度要稍微比LZO要快一些。

 

我们集群现在hive设置默认snappy压缩,

而parquet的压缩格式设置为parquet.compression=snappy,

以前setmapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec不起作用。

Orc的压缩格式设置方法为:orc.compress=SNAPPY,默认为ZLIB.


 

五、Hive中insert into和override write区别?

insert into:将某一张表中的数据写到另一张表中

override write:覆盖之前的内容。

 

六、Hive表被锁,导致drop和insert命令均不可用,应当如何解锁?

发现表(fact_hz_zlfa)被锁,

临时解决方案:对表解锁

unlock table fact_hz_zlfa ; 

 

彻底解决方案:

find / -name hive-site.xml 

关闭锁机制:

set hive.support.concurrency=false; 默认为true


展开阅读全文

没有更多推荐了,返回首页