Hive
爱吃鬼
收藏有货,欢迎交流
展开
-
HIVE的引擎mapreduce、tez和spark三者比较
hive的引擎mapreduce、tez和spark三者比较转载 2023-01-29 16:54:10 · 1015 阅读 · 0 评论 -
Hive(五)——查询
Hive(五)——查询SELECT… FROM语句,一般情况不再赘述,以下展示复合数据结构如何取值# 先提供几条数据与建表语句,方便随手练习John Doe!100000.0!Mary Smith$Todd Jones!Federal Taxes,0.2$State Taxes,0.05$Insurance,0.1!1 Michigan Ave.$Chicago$IL$60600Mary Smith!80000.0!Bill King!Federal Taxes,0.2$State Taxes,原创 2021-03-30 09:59:32 · 91 阅读 · 0 评论 -
Hive(四)——数据操作
Hive(四)——数据操作向管理表装载数据,指定路径应该是一个目录而非文件(load本地文件不会抛异常,hdfs则不可)# 装载本地文件的数据使用local关键字,装载hdfs数据去掉local关键字即可LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (country = 'US', state = 'CA');注意:1、LOAD DATA LO原创 2021-03-25 19:59:23 · 458 阅读 · 0 评论 -
Hive(三)——数据定义
Hive(三)——数据定义每个数据库会创建一个目录,数据库下的表变现为改目录下的子目录(default库无自己的目录)数据库目录默认在hive.metastore.warehouse.dir指定的顶层目录后,例如,常见数据库database,则hive创建一个/user/hive/warehouse/database.db目录。# 我们可以通过以下命令修改建库默认位置hive > CREATE DATABASE financials > LOCATION '/my/pre原创 2021-03-25 10:52:04 · 160 阅读 · 0 评论 -
Hive(二)——数据类型与文件格式
Hive笔记(二)数据基本数据类型集合数据类型分隔符如果一个表表结构指定三个字段,而数据文件有五列,则后两列会被舍弃如果某些字段是数值型的,但是Hive在读取时发现存在非数值型的字符串值的话,那么对于那些字段将会返回null值。————读时模式如果数据库非常多的话,那么可以使用正则表达式匹配来筛选出需要的数据库名hive >show databases like 'h.*';建库语句使用LOCATION关键字可指定数据库位置(默认hive.meta原创 2021-03-04 14:03:20 · 147 阅读 · 1 评论 -
Hive(一)——基础操作
Hive笔记(一)CLI命令行使用!加linux命令可避免退出不退出CLI hive >!ls;hdfs命令可配合管道符加linux命令使用 dfs -cat /test/c.txt | more可在~/.hiverc文件写入自定义配置vim ~/.hiverc # CLI输出显示标头 set hive.cli.print.header=false; # CLI输出显示当前数据库 set hive.cli.print.current.db=true;原创 2021-02-09 15:20:53 · 122 阅读 · 0 评论 -
Hive命名空间-自定义变量
Hive命名空间Hive的命名空间分为:hiveconf , system, env 和 hivevar1、hiveconf 的命名空间指的是hive-site.xml下面配置的环境变量2、system的命名空间是系统的变量,包含JVM的运行信息3、evn的命名空间是指环境变量,包含Shell环境下的变量信息,如 HADOOP_HOME一类的4、hivevar为临时变量可以使用:$ hive --define foo=barhive> set foo;foo=bar;hive&g原创 2021-02-09 14:05:43 · 1991 阅读 · 0 评论