HIVE 系列 （4） hive 内部表和外部表HQL查询统计

最新推荐文章于 2024-07-14 10:38:08 发布
最新推荐文章于 2024-07-14 10:38:08 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据IMF传奇行动－Spark Hadoop
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/50805830
版权
本文介绍了Hive的内部表和外部表的概念及区别，通过实例展示了如何创建、加载数据以及进行HQL查询统计。在数据处理中，内部表的数据与表元数据一同被删除，而外部表仅删除元数据，保留HDFS上的数据文件。示例中通过`LOAD DATA`命令加载SogouQ2数据，并执行了多条HQL查询，如计数、条件筛选等。
摘要由CSDN通过智能技术生成

 内部表：放在hive数据库中，drop表，里面的数据文件也删除

外部表，放在hdfs的文件中，drop表，仅删除hive的元数据，hdfs的数据文件还在

 

源数据

20111230000005 57375476989eea12893c0c3811607bcf 奇艺高清 1 1 http://www.qiyi.com/
20111230000005 66c5bb7774e31d0a22278249b26bc83a 凡人修仙传 3 1 http://www.booksky.org/BookDetail.aspx?BookID=1050804&Level

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
数仓工具—Hive实战之占比同比环比(10)
01-14 6万+
同比环比的计算 测试数据 1,2020-04-20,420 2,2020-04-04,800 3,2020-03-28,500 4,2020-03-13,100 5,2020-02-27,300 6,2020-01-07,450 7,2019-04-07,800 8,2019-03-15,1200 9,2019-02-17,200 10,2019-02-07,600 11,2019-01-13,300 CREATE TABLE ods_saleorder ( order_id int , ord
Hive 外部表的练习(多表关联查询,以及分组,子查询)
Loneliness Ends HUHU
07-09 770
                                    Hive 外部表的练习数据：创建表，以及添加数据：create external table if not exists my_course( courseid string, couresename string ) row format delimited fields terminated by ',' stored a...
Hive 中的外部表在数据源移动后，如何进行查询操作？
HeatDeath的博客
01-09 891
修改被移动数据源的表的 location 即可hive> alter table injury_info_daily_test_2 set location '/input'; OK Time taken: 0.07 seconds
hive指标计算：同比
qq_38031141的博客
08-24 692
项目场景： 通过hivesql进行指标计算 求同比： 创建hive内表 create table ccic_dev.test_yoy( yearmonth string, city string, count int )STORED AS PARQUET; 插入数据 insert into ccic_dev.test_yoy values ('2020-01-01','上海',1000); insert into ccic_dev.test_yoy values ('2020-02-.
Hive SQL 求环比同比数据
Dr_Curiosity的博客
03-27 1552
sql中一些求环比同比的方法记录
Hadoop-2.8.0-HA-Hive安装部署与HQL10.hive的基本语法--内部表和外部表.mp4
04-30
Hadoop-2.8.0-HA-Hive安装部署与HQL10.hive的基本语法--内部表和外部表.mp4
数仓工具—Hive基础之临时表及示例
最新发布
07-14 3万+
临时表是应用程序自动管理在大型或复杂查询执行期间生成的中间数据的一种便捷方式。Hive 0.14 及更高版本支持临时表。可以在用户会话中像使用普通表一样多次使用它们。在本文中，我们将介绍，以及如何创建和使用限制的示例。是限于用户会话的。您可以在用户会话中多次重复使用临时表。Hive 在创建它们的 Hive 会话结束时自动删除所有临时表。临时表中的数据存储在用户的临时目录而不是 Hive 仓库目录中。通常，位置将是。
Hive内部表合并小文件Java程序
07-05
首先，理解Hive内部表和外部表的区别是关键。内部表的数据由Hive完全管理，删除内部表会同时删除其对应的数据。而外部表仅仅是一个指向实际数据的引用，删除外部表不会影响数据。在这个场景下，我们关注的是内部表，...
Hive中的DDL操作详解（库和表的创建删除、内部表和外部表的使用区别）
weixin_43230682的博客
08-13 1157
目录 Hive的DDL操作 1 数据库DDL操作 1.1 创建数据库 1.2 显示所有数据库 1.3 查询数据库 1.4 查看数据库详情 1.5 切换当前数据库 1.6 删除数据库 2 表DDL操作 2.1 建表语法介绍 2.2 创建内部表 2.3 创建外部表 2.4 内部表与外部表的互相转换 2.5 内部表与外部表的区别 2.6 内部表与外部表的使用时机 2.7 hive的分区表 外部分区表综合练习 Hive的DDL操作 1 数据库DDL操作 1.1 创建数据库
大数据之hive：hive之add_months 函数（用于同比、环比计算）
weixin_43597208的博客
10-25 1万+
目录1、说明同比和环比2、add_months函数介绍3、同比实战4、同比 1、说明 同比和环比 同比：同去年的今天进行比较 环比：同上个月的今天进行比较 2、add_months函数介绍 -1 代表减一个月; +1 代表加一个月; select add_months('2020-09-04',-1); 2020-08-04 select add_months('2020-03-31',-1); 2020-02-29 3、同比实战 select d.spotid,d.times,d.totalnumber
Hive实现同比环比计算
一个写湿的程序猿
02-25 3819
Hive实现同比环比计算同比环比的计算销售量的月年占比同比环比lead lag 的实现自关联的实现 同比环比的计算 测试数据 1,2020-04-20,420 2,2020-04-04,800 3,2020-03-28,500 4,2020-03-13,100 5,2020-02-27,300 6,2020-01-07,450 7,2019-04-07,800 8,2019-03-15,1200 9,2019-02-17,200 10,2019-02-07,600 11,2019-01-13,300 CR
hive SQL实现占比、同比、环比计算（lag函数，lead函数）
雾岛与鲸的博客
08-28 1万+
一、数据准备 -- 创建表并插入数据 CREATE TABLE `saleorder` ( `order_id` int , `order_time` date , `order_num` int ) -- ---------------------------- -- Records of saleorder -- ---------------------------- INSERT INTO `saleorder` VALUES (1, '2020-04-20', 420), (2
Hive实现wordcount统计
Realoyou的博客
01-28 1501
1. 创建一个数据库 1. hive> create database wordcount; 2. OK 3. Time taken: 0.389 seconds 4. hive> show databases; 5. OK 6. default 7. wordcount...
Hive-元数据查询表数据量
docsz的博客
06-30 1万+
Statistics使用 1、表，分区级别的统计信息 对于新创建的表或者分区，默认情况下，如果通过INSERT OVERWRITE的方式插入数据，那么Hive会自动将该表或分区的统计信息更新到元数据。有一个参数来控制是否自动统计，hive.stats.autogather，默认为true. 对于已经存在表或分区我们可以通过ANALYZE命令手动更新其Statistics信息： ANALYZE TABLE Table1 COMPUTE STATISTICS;//统计全表的所有分区的信息 ANALYZE TA
MySQL报错：The server quit without updating PID file 我的解决思路和方法
m0_59308369的博客
09-15 3万+
Starting MySQL. ERROR! The server quit without updating PID file Can't connect to local MySQL server through socket '/tmp/mysql.sock'的解决方法和思路
MYSQL启动后报：ERROR! The server quit without updating PID file错误的问题解决
热门推荐
阿飞的专栏
12-03 19万+
注意：本文出自 “阿飞”的博客 ，如果要转载本文章，请与作者联系！ 并注明来源: http://blog.csdn.net/faye0412/article/details/7038290 问题起因： 今天做了一件事情：我在VM 上将一数据库的数据文件（/var/lib/mysql整个文件夹）拷贝到另外一台VM上，然后新的VM 上启动MYSQL，结果报如下异常： [root@l
出现ERROR The server quit without updating PID file
qq_45688439的博客
01-04 1万+
万恶之源 ERROR! The server quit without updating PID file (/usr/local/var/mysql/XXXX.local.pid) 解决办法 本人使用brew install mysql 下载，macOS： gg之，推荐按下面的顺序一个一个试： 1.可能进程里已经存在mysql进程 解决方法：用命令ps -ef|grep mysqld查看是否有mysqld进程，如果有使用“kill -9 进程号”杀死，然后重新启动mysqld！（作者是做完第五条再做这个
MYSQL启动后报：ERROR! The server quit without updating PID file错误
04-22 4万+
启动MYSQL，报如下异常： root@localhost mysql]# service mysql start Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib/mysql/localhost.localdomain.pid). 网上的大部分答案都是： 1. 注释/etc/my.cn
Hive常用操作：内部表、外部表、分区与数据导入导出
Hive支持两种类型的表：内部表和外部表。内部表的元数据和数据都由Hive管理，当删除内部表时，元数据和数据都会被一并删除。外部表的元数据由Hive管理，但数据目录由用户指定，删除外部表只会移除元数据，数据依然...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值