HQL中location和load的区别

于 2023-09-01 10:10:20 发布
阅读量328 收藏 3
点赞数 3
文章标签： 大数据 hive hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Anmylili/article/details/132617596
版权

先准备一份数据

上传到HDFS指定目录

先测试一下load

建表，然后load数据（load经测试，无论load文件还是load目录都是可以的呢）

经查询，表中有数据

接下来去看看HDFS目录上的文件，可以看到，它已经被加载到hive目录下了

所以，load数据的话会使数据发生迁移

接下来测试一下location（我测试的时候没有将此表声明为外部表，每每创建的时候，都将生成一个新的目录......就不将错误案例贴出来了）

先将数据重新上传指定目录

经过测试，location必须是一个目录，不能是文件，不然会报错

经查询，有数据

接下来去看看HDFS目录上的文件

文件还在

所以，location是不会使数据发生迁移，是以此路径作为源数据的感觉。

location果然还是和外部表配合比较有意义呢，若是没有声明外部表而直接location的话，该目录下的数据就会全部丢失，不注意不行。

总结：

load data会使数据目录发生改变

location 则不会，而是以此目录作为源数据

iui1222
关注
SQL基础：HQL工作中常见易错点总结
石榴姐yyds
04-23 1289
0 前言 在进行数仓搭建和数据分析时最常用的就是 sql，其语法简洁明了，易于理解，目前大数据领域的几大主流框架全部都支持sql语法，包括 hive，spark，flink等，所以sql在大数据领域有着不可替代的作用，需要我们重点掌握。 在使用sql时如果不熟悉或不仔细，那么在进行查询分析时极容易出错，接下来我们就来看下几个容易出错的sql语句及使用注意事项。 1. decimal hive 除了支持 int,double,string等常用类型，也支持 decimal 类型，用于在数据库中存储精确
Hive内部表、外部表、分区表、location的重要区别
sunqingok的博客
12-01 2809
1、创建内部表及外部表加与不加location的区别 加location时，在hdfs的目录/user/hive/warehouse下没有以该表名命名的目录；不加location时则存在以该表名命名的目录。加location时，加载数据时会在location后面所在的目录下创建分区目录或者数据目录。 2、无论内部表外部表，load数据是hdfs上的数据时，load完会删除hdfs上的数据。如果是l...
HQL语句总结
weixin_43695091的博客
04-06 310
DDL语句 一. 数据库的DDL语句 创建数据库 Create database dbname [IF NOT EXISTS] [LOCATION] filepath; 说明：IF NOT EXISTS 表示不存在时创建，LOCATION filepath表示创建时指定HDFS存储位置 修改数据库信息 Alter database dbname set dbproperites(name=val...
Hive常用的SQL命令操作
wisgood的专栏
12-07 3万+
Hive常用的SQL命令操作
Hive--查询
Mr_huang的博客
10-30 1124
Hive–查询 前言： 官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13...
hive内部表外部表的创建及load数据
xbing的博客
10-09 5734
内部表 创建hive内部表 create table test_01(id bigint, name string ) row format delimited fields terminated by ','; 默认记录和字段分隔符： \n 每行一条记录 ^A 分隔列（八进制 \001） ^B 分隔ARRAY或者STRUCT中的元素，或者MAP中多个键值对之间分隔...
HQL
weixin_43411674的博客
05-06 227
–创建数据库 create database if not exists mydb; –删除数据库 如果数据库里有表则报错 drop database if not exists mydb; –更改数据库属性 表名 表位置无法更改 alter database mydb set dbproperties(‘createtime’=‘20190506’); –创建表 –创建数据库表语法 CREATE...
Hive HQL知识DDL汇总之数据表操作
xiaohu21的博客
09-05 434
Hive HQL知识DDL汇总之数据表操作 1. 数据表操作概述 数据库中database和table可以看作是2级文件管理，如mysql在windows下的数据库文件就是划分2级文件夹目录。 数据表的操作，可以简单分为建立表格，对表结构修改、删除表。 hive的表，元数据存储在单独的数据库中，本文配置为存放在mysql中。表中数据则存放在hdfs中。如下图示例 2 创建表 2.1 概述 建表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_na
Hive HQL & JOIN & explode
BackToMe的博客
09-09 904
HQL语法
hive 建表与 load语法
我爱奔跑的浮云_的博客
06-21 5735
hive 建表语法 内部表： create table fzname (id int,name string,age int,tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; 外部表： create external table fz_external_name(id int,...
Hive - 内表和外表的区别
zzbjut
09-14 1万+
1. 内部表 create table zz (name string , age string) location '/input/table_data';   注：hive默认创建的是内部表 此时，会在hdfs上新建一个zz表的数据存放地 load data inpath '/input/data' into table zz;   会
HQL加载数据的几种方法小结
yoghurt
09-25 1475
HQL加载数据的几种方法小结： 对于没有创建分区的表（这里都以外部表为例）而言： create external table if not exists test  (id int,name string)  comment 'This is for test.'  row format delimited  fields terminated by '\t'  locati
Hive从入门到精通，HQL硬核整理四万字，全面总结，附详细解析，赶紧收藏吧！！
大数据记录
09-13 2517
一、了解Hive 1、Hive的概念及架构          Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 的开发者开发自定义的 mapper
Hive Hql基本语法 全攻略
qq_15300683的博客
05-25 2万+
 Hive官网（HQL）语法手册（英文版）： https://cwiki.apache.org/confluence/display/Hive/LanguageManual一、Hive的数据存储　　1、Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，RCFILE等）　　2、只需要在创建表的时候告诉 Hive 数据...
Hive建表的Location问题
dacoolbaby的专栏
02-26 4084
最近公司在使用Hive做项目测试，所以就在Hive上面建了一些表，做测试。 使用建表语句后发现数据被自动覆盖了，现在了解到的情况是这样的。   Hive中，表的Metadata信息全部存储在MySQL中。 而存储在MySQL中的数据是没有校验过程的。 也就是说，你可以创建一个逻辑错误的表，两个表指向同一个HDFS文件也是有可能的。   所以，在使用CREATE TABLE的时候，L...
hive之HQL常用命令
qq_41275983的博客
09-26 1419
Hive之HQL常用命令 HQL常用命令Hive之HQL常用命令一、DDL数据定义1、创建数据库：2、查询数据库：3、修改数据库：4、删除数据库：5、创建表：6、分区表：7、修改表：8、删除表：二、DML数据操作1、向表中加载数据：2、插入数据：3、import的导入导出：4、数据导出5、清除表中数据：三、查询1、查询：2、算术运算符：+、-、*、/、%、&、|、^、~3、常用函数：4、limit语句：限制返回的函数，在sql语句最后一行；where语句：筛选条件；5、比较运算符：between、i
修改hive表location
修鹏的专栏
05-20 3万+
两种方式： 一、通过修改表DDL： alter table t_m_cc set location 'hdfs://heracles/user/video-mvc/hive/warehouse/t_m_cc' 二、直接修改hive 的meta info: update `DBS` set `DB_LOCATION_URI` = replace(DB_LOCATION_URI,"oldp
一文学完所有的Hive Sql（两万字最全详解）
热门推荐
yuan_more的博客
04-01 4万+
Hive Sql 大全 本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类： 一、DDL语句（数据定义语句）： 对数据库的操作：包含创建、修改数据库 对数据表的操作：分为内部表及外部表，分区表和分桶表 二、DQL语句（数据查询语句）： 单表查询、关联查询 hive函数：包含聚合函数，条件函数，日期函数，字符串函数等 行转列及列转行：lateral view 与 explode 以及 reflect 窗口函数与分析函数 其他一些窗口函数 文章首发于公众...
hql和sql的区别
最新发布
10-10
HQL（Hibernate Query Language）和SQL（Structured Query Language）都是用于查询数据库的语言，但它们主要用于不同的环境： 1. **HQL**：专为Java持久化框架Hibernate设计，它是对SQL的一种高度抽象和封装的查询语言。HQL更像一种声明式的查询语言，允许开发者直接描述他们想要的数据，而不需要关心底层的SQL语法。它支持更高级的功能，如集合操作、排序、分页等，并且能够处理复杂的关系映射。 2. **SQL**：是一种标准的结构化查询语言，广泛应用于各种关系型数据库系统，比如MySQL、Oracle、SQL Server等。SQL是命令式的，需要明确指定从哪里获取数据以及如何获取，语法更通用和详细，适合于程序员直接编写复杂的查询逻辑。 两者的主要区别在于： - **适用场景**：HQL针对的是ORM（Object-Relational Mapping）环境下，SQL则适用于任何数据库管理系统。 - **查询表达**：HQL更接近自然语言，SQL则更为精确和严谨。 - **学习曲线**：HQL对于熟悉Hibernate的开发者较为友好，SQL对于所有数据库开发者都是基础技能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iui1222

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值