![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hive
hive相关知识
哥们你裤衩掉了
想成为一个DIY的野生架构师。
展开
-
Hive总结(零)Hive的基础知识
一.Hive是什么 Hive是一个数据仓库基础工具,可以在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。Hive作为一个中间工具,主要作用是将HQL(Hive Query Language)转换为一系列的MapReduce Job,利用Hadoop框架对数据进行类SQL处理,简化在Hadoop框架上实现SQL功能程序的编写。 Hive擅长的是非实原创 2017-02-16 11:12:14 · 664 阅读 · 0 评论 -
Hive总结(三)内部表和外部表的区别
零.Hive数据库存储四种方式的区别内部表:Hive中的表和关系型数据库中的表在概念上很类似,每个表在HDFS中都有相应的目录用来存储表的数据,这个目录可以通过/conf/hive-site.xml配置文件中的hive.metastore.warehouse.dir属性来配置,这个属性默认的值是在HDFS上的/user/hive/warehouse,所有的Hive内部表存储在这个位置。 外部表:原创 2017-02-21 14:37:41 · 3272 阅读 · 0 评论 -
Hive总结(一)Hive 2.1.0本地模式搭建教程
零.前言Apache Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Hive有三种运行模式: 1.内嵌模式:将元数据保存在本地原创 2017-01-12 20:07:41 · 2991 阅读 · 1 评论 -
Hive总结(二)Hive数据导入的三种方式
零.Hive的几种常见的数据导入方式常用的的有三种: 1.从本地文件系统中导入数据到Hive表; 2.从HDFS上导入数据到Hive表; 3.在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 Hive配置: HDFS中Hive数据文件存放目录(启动hive后HDFS自动创建): HDFS: /usr/hive/warehouse hadoop fs -mkdir /u原创 2017-02-15 09:49:13 · 6841 阅读 · 0 评论 -
hive总结(四)Hive中的桶
感谢原作者elsearch http://www.cnblogs.com/wujin/p/6093401.htmlhive中有桶的概念,对于每一个表或者分区,可以进一步组织成桶,说白点,就是更细粒度的数据范围。 hive采用列值哈希,然后除以桶的个数以求余的方式决定该条记录存放在哪个桶当中。 使用桶的好处: 1、获得更高的查询处理效率。桶为表加上了额外的结构,Hive在处理有些查询时能利用这转载 2017-03-28 15:17:37 · 556 阅读 · 0 评论 -
Hive总结(五)表的基本操作
0.准备工作,在本地建立测试数据cat /data/hive_data/ data.txt09 Nermaer31 JiaJia10 Messi16 Santi06 Tian21 Pirlo 1.创建分区表表语句hive> CREATE TABLE logs(id BIGINT,name STRING) > PARTITIONED BY(dt STRING,count原创 2017-03-29 12:06:41 · 821 阅读 · 0 评论 -
Hive总结(六)表的三种连接方式
0.数据源hive> SELECT * FROM test; id_name9 Nermaer31 JiaJia10 Messi16 Santi6 Tian21 Pirlohive> SELECT * FROM test_name; 26 Santi26 Tian99 xiaozha991内连接 *SELECE a.,b.* FROM原创 2017-03-31 18:09:31 · 9159 阅读 · 0 评论 -
Hive 总结(七)hive导出数据的三种方式
零.Hive导出数据的方式有三种分别为 (1)导出到本地文件系统; (2)导出到HDFS中; (3)导出到Hive的另一个表中。一 导出到本地文件系统hive> INSERT OVERWRITE LOCAL DIRECTORY '/home/santiago/data/hive_data'> SELECT * FROM test;santiago@slave1:~/data/hive_da原创 2017-04-06 11:51:12 · 757 阅读 · 0 评论