大数据理论与实践I 一些习题

Q1 哈希取模在那些技术中使用过，分别发挥什么作用？

MapReduce – map任务将中间结果写入专用内存缓冲区buffer，同时进行partition。

Sqoop – 从Oracle或DB2导入数据时，利用哈希取模实现数据均匀分片。

Inceptor / Hive – 利用select…Distributeby…Sortby(Clusterby)实现数据分桶

Search / ElasticSearch – 将document分入不同的shard

Q2 ZooKeeper在哪些技术和产品中使用过？分别起什么作用？  【配置管理、集群管理、分布式锁】

HDFS – NameNode HA : Active NN选举。

YARN – ResourceManager HA : Active RM 选举、存储元数据。

Kafka:存储元数据;配置管理;broker动态扩展;broker负载均衡;controller leader选举; consumer group变化时的rebalance

Hyperbase – Hmaster选举、存储元数据入口地址。

So