Hive
Hive框架理论知识,安装配置操作,HQL,以及一些优化操作
PassionZheng
这个作者很懒,什么都没留下…
展开
-
hive中bigint和string进行join出现匹配错误问题
在hive中,两个表进行join,on条件两表的字段含义一致(都是整数),但数据类型不一致:string和bigint。join后发现如果数值过大则匹配的记录会出现问题:一条记录会匹配出多条记录(explain可以发现都转换为double)如:190000000002778025,就会错误的匹配上*8023 ,*8025a)原因:Java中精度只有15至16位,当数据超过精度就会不准——也就会出现超过精度的记录join上许多不一致的记录。bigint和string比较时会隐式地都转换成double,j原创 2020-11-01 22:16:28 · 5306 阅读 · 0 评论 -
Hive数据操作语言DML
数据导入1.向表中装载数据(Load)hive> load data > [local] inpath '/opt/module/datas/student.txt' > [overwrite] into table default.student > [partition (partcol1=val1,…)];1)load data:表示加载数据2)local:表示从本地加载数据到hive表;否则从HDFS移动数据到hive表存储位置3)原创 2020-05-28 21:26:56 · 249 阅读 · 0 评论 -
Hive数据定义语言DDL
Hive的数据定义语言主要包括数据库和表的创建、修改与删除,此外表层面还有内部表与外部表、分区表等的操作。Database1.数据库的创建1.1 创建语法CREATE DATABASE [IF NOT EXISTS] database_name# 数据库备注信息[COMMENT database_comment]# HDFS路径[LOCATION hdfs_path] # 数据库的一些参数信息[WITH DBPROPERTIES (property_name=property原创 2020-05-28 18:22:19 · 242 阅读 · 0 评论 -
Hive数据类型
基本数据类型Hive数据类型对应Java数据类型长度例子TINYINTbyte1byte ,有符号整数20SMALINTshort2byte,有符号整数20INTint4byte,有符号整数20BIGINTlong8byte,有符号整数20BOOLEANboolean布尔类型,true或者falseTRUE FALSEFLOATfloat单精度浮点数3.14159DOUBLEdouble双精度浮点数3.原创 2020-05-28 16:32:29 · 296 阅读 · 0 评论 -
Hive基本介绍
什么是HiveHive是由Facebook开源,用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。其本质是:将SQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上Hive的优缺点1.优点1)操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。2)避免了去写MapReduce,减少开发原创 2020-05-28 14:42:24 · 626 阅读 · 0 评论