1.Apache Hive 简介
建立在Hadoop之上的数据仓库工具,提供:
- tools of ETL
- impose structure on a variety of data formats
- access to files on HDFS or HBase( hive hbase handler)
- query data by MapReduce
类似SQL语法的HQL, 通过UDF, UDAF, UDTF增强语句功能:
- UDF: 对查询结果格式化处理后,输出内容, 一进一出
- UDAF:对查询结果进行聚合处理,比如 Sum, Average,.......
- UDTF:输入一行输出多行
用法定位: not real-time or low-level updates, 最好用在大数据集上Batch查询任务
特点:
- 集群动态扩展(Hadoop)
- 功能扩展(UDF)
- 容错(mapreduce job)
- 与输入格式的松耦合
hive architechure: