疯狂Hive之DDL操作一（二）

最新推荐文章于 2024-07-30 09:00:34 发布
最新推荐文章于 2024-07-30 09:00:34 发布
阅读量407 收藏
点赞数
分类专栏： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianfeng_dashuju/article/details/107381039
版权
本文详细介绍了如何通过Hive的DDL操作建立HDFS上文件与Hive表之间的映射关系。从在HDFS创建映射文件开始，到在Hive中创建表并指定分隔符，再到处理不同数据类型如array和map，最后讨论了Hive的默认分隔符和SerDe的工作机制。
摘要由CSDN通过智能技术生成

DDL操作

Hive中的表如何与HDFS上文件中的数据产生映射关系？

在HDFS上创建映射文件

在node01上创建文件夹：mkdir hivedata

在hivedata中新建一个文件1.txt文件：

cd hivedata

vi 1.txt

在1.txt中编写如下数据

 

 

 

将1.txt文件上传到HDFS上的hivedata目录中

HDFS新建hivedata目录：hadoop fs -mkdir /hivedata

上传1.txt文件到hivedata目录：hadoop fs -put /root/hivedata/1.txt /hivedata

 

 

在Hive中创建映射表

在Hive的hello数据库中创建一张表

使用hello数据库：use hello;

创建t_user1表：create table t_user1(id int,name string,age int);

 

 

此时在HDFS上的/user/hive/warehouse路径下会生成一个hello.db的数据库，t_user1表在该文件夹下

 

 

 

建立表与文件的映射

操作：将HDFS上的1.txt文件赋值到t_user1表中去

命令：hadoop fs -cp /hivedata/1.txt /user/hive/warehouse/hello.db/t_user1

结果：在HDFS的t_user1文件夹下多出一个1.txt文件

 

 

在node02上查询表中数据，发现Hive感知到文件中的数据，但是数据没有解析出 来

 

 

原因

最低0.47元/天 解锁文章
已转行此号停用
关注
专栏目录
Hive表DDL操作（二）
Junds0的博客
02-11 3540
第1关：Create/Drop/Alter 视图 本关任务：根据编程要求对数据库进行相应的操作。 #********* Begin *********# echo " CREATE DATABASE IF NOT EXISTS test1; CREATE TABLE IF NOT EXISTS test1.student( Sno INT, name STRING, age INT, sex STRING, score STRUCT<Chinese:FLOAT,Math:FLOAT,English:F
Hive表DDL操作（一）
Junds0的博客
02-11 1175
第1关：Create/Alter/Drop 数据库 本关任务：根据编程要求对数据库进行相关操作。 #********* Begin *********# echo " CREATE DATABASE IF NOT EXISTS test1 LOCATION '/hive/test1' WITH DBPROPERTIES('creator'='John','date'='2019-02-25'); ALTER DATABASE test1 SET DBPROPERTIES('creator'='Marry')
大数据从入门到实战 - Hive表DDL操作（二）
小啊呜的博客
01-14 6875
大数据从入门到实战 - Hive表DDL操作（二） 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：Create/Drop/Alter 视图 2、第2关：Create/Drop/ALTER 索引 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
Hive的DDL操作详解
My_wife_QBL的博客
07-30 811
Hive中的DDL操作是管理数据的重要工具，通过创建、修改和删除数据库和表，用户能够高效地组织和管理大数据。通过合理设计数据库结构、利用分区和分桶等策略，可以显著提升数据处理和查询的性能。在实际应用中，了解并掌握Hive的DDL操作，不仅有助于高效管理数据，也为后续的数据分析和业务决策提供了强有力的支持。随着大数据技术的不断发展，正确使用Hive的DDL操作将成为数据工程师和分析师必备的核心技能。
Hive表DDL操作（二） 第2关：Create/Drop/ALTER 索引
qq_61604164的博客
02-01 3183
Hive表DDL操作（二） 第2关：Create/Drop/ALTER 索引
Hive-2 Hive的DDL操作
a3125504x的博客
06-24 487
Hive的DDL操作数据库DDL操作创建数据库显示所有数据库模糊查询数据库查看数据库详情切换当前数据库删除数据库表DDL操作建表语法创建内部表创建外部表创建内部表创建内部表创建内部表创建内部表创建内部表创建内部表 DDL是数据库模式定义语言，是用于描述数据库中要存储的现实世界实体的语言。 数据库DDL操作 创建数据库 hive > create database myhiv; 或者 hive > create database if not exists db_hive; 或者 create
HiveQL的DDL操作（二）——创建、分区、查询、修改、删除表
攻城狮Kevin
12-05 2294
DDL（data definition language）数据库定义语言： 关键词：create、select、alter、drop，对表的操作。 这篇博文主要详细整理了Hive中对于数据表的常用基本操作，创建一个demo表进行演示。 目录 一、创建表 1.1 创建表的完整语法及字段解释 1.2 管理表（内部表） （1）普通创建表 （2）根据查询结果创建表（create table...
大数据从入门到实战——Hive表DDL操作（一）
Littlerainlv的博客
10-27 1006
Hive表DDL操作Create/Alter/Drop 数据库Create/Drop/Truncate 表Alter 表/列表分区 Create/Alter/Drop 数据库 #********* Begin *********# echo " CREATE DATABASE IF NOT EXISTS test1 LOCATION '/hive/test1' WITH DBPROPERTIES('creator'='John','date'='2019-02-25'); ALTER DATABAS
Hive表ddl操作.zip
最新发布
09-13
hive表ddl操作（一）
Hive 基本操作（一）DDL操作
weixin_44387652的博客
03-08 2872
Hive 基本操作（一）DDL操作1、DDL 操作1.1、库操作1.1.1、创建库1.1.2、查看库1.1.3、删除库1.1.4、切换库1.2、表操作1.2.1、创建表1.2.1.1、创建内部表1.2.1.2、创建外部表1.2.1.3、创建分区表1.2.1.3、创建分桶表1.2.1.4、使用 like 关键字拷贝表1.2.2、查看表结构信息1.2.3、修改表1.2.3.1、重命名表1.2.3.2、修改表属性1.2.3.3、修改 SerDe 信息1.2.3.4、增加/删除/改变/替换列1.2.3.5、增加/删
Hive(二) -- ddl
BubbleMa
12-14 1140
Hive支持标准SQL，同时又有自己的特点，属于方言版SQL。Hive的ddl主要包含对于数据库和表的查询、创建和删除。dml包含数据查询和插入，其中插入有load和insert两种方式，针对于4种表的特点有不同的插入方式。 一、ddl : data define language 库： 创建库：create database dname; 切换库：use dname; 查询库列表：show database; show...
Hive中的DDL操作
Mark_Frank的博客
08-25 1813
参考文章：https://www.cnblogs.com/qingyunzong/p/8723271.html 首先引入以下什么是DDL、DML、DCL： DDL（data manipulation language） 它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言。 DML（data definition language） DDL比DML要多，主要的命令有CREATE、
大数据从入门到实战 - Hive表DDL操作（一）
热门推荐
小啊呜的博客
01-14 1万+
大数据从入门到实战 - Hive表DDL操作（一） 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：Create/Alter/Drop 数据库 2、第2关：Create/Drop/Truncate 表 3、第3关：Alter 表/列 4、第4关：表分区 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
hive的DDL和DML操作(二）
weixin_45631932的博客
10-16 372
一、查询语句语法分析 1. 查询语句语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] ] [LIMIT number] (1)ALL查询所有
Hive基本DDL操作
fengge18306的博客
03-30 1194
1、数据库的DDL操作 （1）创建数据库 数据库在HDFS上的默认存储路径是/user/hive/warehouse/数据库名.db hive > create database db_hive; 两者等价 hive > create database if not exists db_hive;（用if not exists判断是否已存在该数据库） （2）显示所有数据库 ...
Hive学习（二）：HiveQL DDL操作
IcyDate的博客
01-06 1642
上一篇：Hive学习（一）：安装运行 数据库 创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] 数据库名 [COMMENT 注释] [LOCATION hdfs存储路径] [WITH DBPROPERTIES (属性名=属性值, ...)]; DATABASE|SCHEMA：意义相同 WITH DBPROPERTIES：设置一些自定义键值对 可以到hdfs中看看，可以发现数据库就是一个文件夹 删除数据库 DR...
Hive（二）DDL DML DQL
ks_1998的博客
05-19 1781
Hive DDL
Hive的DDL操作
m0_63266054的博客
04-22 513
Hive的DDL操作
头歌hive表ddl操作(二)
05-30
好的，以下是一个简单的Hive表的DDL操作示例： ``` CREATE TABLE IF NOT EXISTS test_table ( id INT, name STRING, age INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 其中，`test_table`是表名，`id`、`name`和`age`是表的字段名，`INT`和`STRING`是字段类型。`ROW FORMAT`指定了行格式，`FIELDS TERMINATED BY`指定了字段之间的分隔符，`STORED AS`指定了数据存储格式。在这个例子中，数据以逗号分隔的文本文件形式存储。 还可以在表创建时指定分区： ``` CREATE TABLE IF NOT EXISTS test_table ( id INT, name STRING, age INT ) PARTITIONED BY (country STRING, city STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE; ``` 这样，数据将会按照`country`和`city`两个字段的值进行分区存储，可以更快地查询和处理数据。 如果需要修改表结构，可以使用`ALTER TABLE`命令： ``` ALTER TABLE test_table ADD COLUMN gender STRING; ``` 这个例子中，我们向`test_table`表中添加了一个名为`gender`的字段。 以上是Hive表DDL操作的简单示例，具体操作可以根据实际需求进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值