![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术,主要是通过将用户书写的SQL语句翻译成MapReduce代码,然后发布任务给MR框架执行,完成SQ
张凯生
这个作者很懒,什么都没留下…
展开
-
Hive中自定义函数详解
内置函数# 查看hive内置函数show functions;# 查看函数描述信息desc function max ;用户自定义函数UDF用户定义函数-UDF:user-defined function操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函数)。 用户定义函数-UDF user-defined function 操作作用于单个数据行,并且产生一个数据行作为输出。大多数函数都属于这一类(比如数学函数和字符串函原创 2020-08-28 20:58:30 · 622 阅读 · 0 评论 -
Hive中表分类
4.1 管理表由Hive全权管理的表所谓的管理表指hive是否具备数据的管理权限,如果该表是管理表,当用户删除表的同时,hive也会将表所对应的数据删除,因此在生产环境下,为了防止误操作,带来数据损失,一般考虑将表修改为非管理表-外部表总结:Hive的管理,表结构,hdfs中表的数据文件,都归Hive全权管理。---- hive删除管理表,HDFS对应文件也会被删除。缺点:数据不安全。4.2 外部表引用映射HDFS数据作为表管理,但无法删除数据外部表和管理表最大的区别在于删原创 2020-08-28 20:55:23 · 483 阅读 · 0 评论 -
Hive中的HQL语句
HQL高级-- SQL关键词执行顺序 from > where条件 > group by > having条件>select>order by>limitfrom > where条件 > group by > having条件>select>order by>limit注意:sql一旦出现group by,后续的关键词能够操作字段只有(分组依据字段,组函数处理结果)HQL高级# 0. 各个数据类型的字段访.原创 2020-08-28 20:54:04 · 335 阅读 · 0 评论 -
Hive中数据导入详解
默认分隔符# 默认分隔符分隔符 输入方式 含义 \n vi中换行即可 用来分割行数据的,每行1条数据。 ^A ctrl+V ctrl+A 用来分割字段(列),在HQL语句中使用\001表示 ^B ctrl+B 用来分割array内元素、struct内元素、map内kv和kv之间。在HQL建表语句中使用\002表示 ^C ctrl+V ctrl+C 用于map的k和v之间的分割。在HQL建表语句中使用 \003 表示原创 2020-08-28 20:48:40 · 560 阅读 · 0 评论 -
hive架构详解
简介hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目(hive.apache.org)。 hive是一个基于大数据技术的数据仓库(DataWareHouse)技术,主要是通过将用户书写的SQL语句翻译成MapReduce代码,然后发布任务给MR框架执行,完成SQL 到 MapReduce的转换。可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。总结 Hive是一个数据仓库(数据库) Hive构建在HDFS上,可以存储海量数据原创 2020-08-28 20:41:32 · 5535 阅读 · 0 评论