Hive
啊策策
通吃java, 大数据.
展开
-
数据仓库、数仓分层 01
1. 数据仓库的基本概念数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。...原创 2019-03-21 21:15:18 · 419 阅读 · 0 评论 -
Hive基本概念、Hive的架构 02
1. 什么是Hivehive可以将结构化的数据,映射成为一张数据库表结构化数据:类似于数据库当中表结构。字段个数一定。字段类型也定好了半结构化的数据:xml或者json。字段个数不定。字段类型可定非结构化的数据:音频或者视频等等。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。其本质是将SQL转换为MapRe...原创 2019-03-21 21:35:28 · 197 阅读 · 0 评论 -
Hive查询语法 05
1. Selectselect查询语法基本的Select操作语法结构SELECT [ALL | DISTINCT] select_expr, select_expr, …FROM table_reference[WHERE where_condition][GROUP BY col_list [HAVING condition]][CLUSTER BY col_list| [...原创 2019-03-25 15:00:48 · 197 阅读 · 0 评论 -
Hive Shell参数 06
1. Hive命令行语法结构hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S]说明:1、-i 从文件初始化HQL。2、-e从命令行执行指定的HQL3、-f 执行HQL脚本4、-v 输出执行的HQL语句到控制台5、-p connect to ...原创 2019-03-25 15:12:03 · 119 阅读 · 0 评论 -
Hive函数、自定义UDF函数、Hive导入json数据自定义UDF函数 07
1. 内置函数Hive内置函数官方文档1)查看系统自带的函数hive> show functions;2)显示自带的函数的用法hive> desc function upper;3)详细显示自带的函数的用法hive> desc function extended upper;2. Hive自定义函数1)Hive 自带了一些函数,比如:max/min等,但是...原创 2019-03-25 15:34:49 · 545 阅读 · 0 评论 -
Hive的存储格式 08
1. Hive的数据存储格式Hive支持的存储数的格式主要有:TEXTFILE(行式存储) 、SEQUENCEFILE(行式存储)、ORC(列式存储)、PARQUET(列式存储)。1.1 列式存储和行式存储上图左边为逻辑表,右边第一个为行式存储,第二个为列式存储。行存储的特点: 查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值...原创 2019-03-25 16:48:26 · 164 阅读 · 0 评论 -
Hive调优、Hive表数据导入、Hive表数据导出 09
1. Fetch抓取(Hive可以避免进行MapReduce)Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认...原创 2019-03-25 18:46:07 · 186 阅读 · 0 评论 -
Hive的安装部署 03
1. 安装1.1 derby版hive直接使用解压hivecd /export/softwarestar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C ../servers/直接启动 bin/hivecd ../servers/cd hive-1.1.0-cdh5.14.0/bin/hivehive> create database ...原创 2019-03-22 21:42:04 · 168 阅读 · 0 评论 -
Hive的基本操作、创建内部表、创建外部表、创建分桶表、创建分区表 04
1. 创建数据库创建数据库不指定位置create database if not exists myhive;use myhive;hive的表存放位置模式是由hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse...原创 2019-03-22 22:31:11 · 723 阅读 · 0 评论