Hive笔记-20210327

Hive

自定义函数

1.UDF（user-defined-function）
一进一出 eg： 将单词全部大写
2.UDAF（user-defined aggregation function）
聚集函数 多进一出
类似于 count/max/min
3.UDTF（user-defined table-generating functions)
一进多出

基本概念

大数据解决海量数据的传输、存储、计算（处理）

• hive 用于解决海量结构化日志的数据统计
• hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张表，提供类SQL查询
• 将HQL转化为MapReduce程序
  
• Hive存储数据在HDFS
• Hive分析数据底层默认实现是MapReduce
• 执行程序在Yarn上

优缺点

优点

• 操作接口采用类SQL
• 避免写MapReduce，减少学习成本
• 执行延迟性较高，适用于对实时性要求不高的场合
• 优势在于处理大数据，对处理小数据没有优势，Hive延迟较高
• 支持用户自定义函数，可以按照自己的需求来实现自己的函数

缺点

• HQL表达能力有限：迭代式算法无法表达；不擅长数据挖掘
• 效率比较低：hive自动生成的MapReduce作业不够智能化；调优困难只能粗粒度调优。只能在sql调优。

Hive架构

元数据：映射关系 存在MySQL中

Hive与SQL区别

核心问题为数据量问题：

Hive所有数据存在HDFS上，Hive读多写少；Hive无法建立索引，需要暴力扫描整个数据；Hive用MapReduce，有执行延迟。MySQL到千万性能急剧下降，若只有十条数据，MySQL快很多；Hive具有可扩展性，包括存储和计算能力，MySQL可扩展有限制；

载入数据命令

load data local inpath “路径” into table aa；