hadoop学习笔记

hadoop生态环境包括：HDFS、MapReduce、HBase、Pig、Hive、ZooKeeper、Avro、Sqoop等。

Hadoop集群包括nameNode、secondaryNameNode、dataNode、jobTracker、taskTracker；

hbase集群包括hmaster、hregionserver、region、store、memstore、storeFile、HFile等；操作方式包括put get（一行、多行范围、SCAN全表扫描）；

rowKey优化包括建立辅助索引（应对需要单独根据不同的条件查询，如根据学号或者身份证号查询学生信息），建立复合rowKey（应对需要同时按照多个条件查询的情况，如同时根据用户id和邮件编号查询用户发送的邮件）；

HBase适用的场景主要是查询需求固化，主要查询最近一段时间的数据，大数据量写入，分布式存储；

MapReduce的典型应用案例如wordCount、气象数据求当年最大气温，实现的方式包括Java api编程、Pig（Pig Latin）、Hive（HiveQL）、Streaming等；