1、一个Hadoop环境,整合了Hbase和Hive,是否有必要给HDFS和Hbase都分别配置压缩策略?请给出对压缩策略的建议。(不会)
2、Hadoop和Hbase等组件会互相竞争资源,如果需要开发一个调度模块协调这种竞争,请给出自己的思路(简述)
3、简述Hbase性能优化的思路。
1、参数调整
2、jvm参数调整
3、
4、简述Hbase filter的实现原理是什么?结合实际项目经验,写出几个使用filter的场景。
5、ROWKEY的后缀匹配怎么实现?例如ROWKEY是yyyyMMDD-UserID形式,如果要以UserID为条件查询数据,怎样实现。
6、简述Hive中的虚拟列作用是什么,使用它的注意事项。
7、如果要存储海量的小文件(大小都是几百K~几M),请简述自己的设计方案。
8、有两个文本文件,文件中的数据按行存放,请编写MapReduce程序,找到两个文件中彼此不相同的行。
16.Hbase 的rowkey 怎么创建比较好?列族怎么创建比较好?
尽量将需要查询的维度或者信息存储在行键中,以为它筛选数据的效率最高
行键是唯一的
高表与宽表
19.Hbase 内部是什么机制?
73.hbase 写数据的原理是什么?
75.hbase宕机如何处理?
144. 如果让你设计,你觉得一个分布式文件系统应该如何设计,考虑哪方面内容;
每天百亿数据入hbase,如何保证数据的存储正确和在规定的时间里全部录入完毕,
不残留数据。
149.hbase过滤器实现原则。164.介绍一下hbase过滤器。
167.hbase集群安装注意事项。
319.Hbase 在进行模型设计时重点在什么地方?一张表中定义多少个Column Family
最合适?为什么?