hive
xiaoyaGrace
这个作者很懒,什么都没留下…
展开
-
Hadoop 2.6.0+ZooKeeper+Hive HA高可用集群安装
版本描述 系统版本为CentOS release 6.5 (Final) Hadoop版本:hadoop 2.6.0 64 bit 版本 Zookeeper 版本:zookeeper-3.4.6 Hive版本:apache-hive-1.1.0 JDK版本哦openjdk 1.8.0 ...原创 2019-12-03 11:54:18 · 259 阅读 · 0 评论 -
大数据技术之Hive实战——Youtube项目(二)
三、项目原始数据youtube在此下载:https://pan.baidu.com/s/1we1KPA2IIEAGIJczyr2dMQ3.1、数据结构3.1.1、视频表这里写图片描述这里写图片描述3.1.2、用户表这里写图片描述3.2 原始数据存放地HDFS 目录:视频数据集:/youtube/video/2008用户数据集:/youtube/users/20083.3、技术选型Hadoop ...原创 2019-12-02 14:19:25 · 629 阅读 · 0 评论 -
Hive中DDL数据定义之建表语法
创建表建表语法 create[external]table[ifnotexists] table_name [(col_name data_type [commentcol_comment], ...)] [commenttable_comment] [partitionedby(col_name da...原创 2019-11-19 15:18:41 · 109 阅读 · 0 评论 -
HIve中分区数据关联的三种方式
之前的分区表都是先创建表然后加载数据到分区表中,然后就会在HDFS自动创建相关的目录存储数据,但是这里反过来做,先在HDFS中创建相应的目录,然后把数据直接上传到这个目录下,具体如下所示先在HDFS中创建存放数据的目录dfs -mkdir -p /user/hive/warehouse/ys.db/test/month=201809/day=02;然后直接上传数据到该目录下dfs ...原创 2019-11-19 15:14:54 · 608 阅读 · 0 评论 -
Hive中数据查询
基本查询全表和特定列查询1)全表查询hive (default)>select*fromemp;2)选择特定列查询hive (default)>selectempno, enamefromemp; 注意: (1)SQL 语言大小写不敏感。 (2)SQL 可以写在一行或者多行 (3)关键字不能被缩写也不能分...原创 2019-11-19 15:09:49 · 484 阅读 · 0 评论 -
Hive文件存储格式
hive支持的存储数的格式主要有:textfile sequencefile orc parquet1.列式存储和行式存储右边第一个为行式存储,第二个为列式存储 行存储的特点: 查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时 行存储查询的速度更...原创 2019-11-19 14:56:00 · 119 阅读 · 0 评论 -
Hive项目实战二
数据清洗1)数据分析在video.txt中,视频可以有多个所属分类,每个所属分类用&符号分割,并且分割的两边有空格字符,多个相关视频又用“\t”进行分割。为了分析数据时方便对存在多个子元素的数据进行操作,我们首先进行数据重组清洗操作。具体做法:将所有的类别用“&”分割,同时去掉两边空格,多个相关视频 id 也使用“&”进行分割,这里看起来将"&"换成...原创 2019-11-19 14:53:24 · 110 阅读 · 0 评论 -
hive外部表指向多个文件/文件夹
hive建外部表正常指向一个文件或者文件夹时很简单,然而需求是指向两个不同的文件夹起上级目录中还有其他文件不能直接指定上级目录,特此记录。新建外部分区表//新建外部分区表create external table test(content string) partition by(date string);将不同的文件/文件夹指向不同分区即可//递归读取文件夹中的文件set hive....原创 2019-11-07 15:31:35 · 826 阅读 · 0 评论 -
将数据导入到hive里面时遇到的一个坑
我们之前都是使用sqoop把RBDMS的数据导入到HDFS里面,但并没有在hive里面同时构建表,现在我们需要将数据导入HDFS里面的同时为这批数据在hive里面构建表结构一般我们使用的命令:sqoop import--connect url--username root -P --table mysql里面的一个表(你也可以使用-e来给予SQL语句) --create-hive-ta...原创 2019-10-31 15:42:25 · 795 阅读 · 0 评论