hive
辣条好辣
这个作者很懒,什么都没留下…
展开
-
hive(1)hive原理
hive的产生非java编程者对HDFS的数据做MapReduce的操作。hive简介hive:数据仓库hive:解释器,编译器,优化器等hive:运行时,元数据存储在关系型数据库里面什么是hiveHive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机...原创 2019-01-08 14:59:23 · 189 阅读 · 0 评论 -
hive单词统计
需统计的单词hello hadoop hive sparkjava python php c hellojava hadoophello java java需创建的表--创建表wc,用来存储单词,是外部表,上面的数据在hdfs的目录位置为/root/wc/wccreate external table wc(line string)location '/root/wc/'...原创 2019-06-06 10:49:10 · 599 阅读 · 0 评论 -
hive分区以及动态分区
hive静态分区(hive分区主要是为了提高检索效率,内部表和外部表都可以创建分区)hive静态分区操作静态分区操作数据1,小明1,lol-book-move,beijing:shangxuetang-shanghai:pudong2,小明2,lol-book-move,beijing:shangxuetang-shanghai:pudong3,小明3,lol-book-move,b...原创 2019-06-06 14:07:55 · 1164 阅读 · 0 评论 -
Hive 外部表关联分区数据
0. 说明已经安装好Hadoop和hive环境,hive把元数据存储在mysql数据库。这里仅讨论外部表和HDFS的关联,并且删掉外部表之后,对HDFS上的文件没有影响1. 在HDFS创建分区,并存有文件手工创建或者由程序在HDFS上生成了分区目录,每个分区目录下有相应的文件。本例中根据day分了两个分区,如下所示:/test/in/day=20/20.txt/test/in/day=...转载 2019-09-25 18:43:56 · 525 阅读 · 0 评论