疯狂Hive之DDL操作一（二）

最新推荐文章于 2024-12-06 14:21:58 发布
最新推荐文章于 2024-12-06 14:21:58 发布
阅读量435 收藏
点赞数
分类专栏： 大数据学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qianfeng_dashuju/article/details/107381039
版权
本文详细介绍了如何通过Hive的DDL操作建立HDFS上文件与Hive表之间的映射关系。从在HDFS创建映射文件开始，到在Hive中创建表并指定分隔符，再到处理不同数据类型如array和map，最后讨论了Hive的默认分隔符和SerDe的工作机制。
摘要由CSDN通过智能技术生成

DDL操作

Hive中的表如何与HDFS上文件中的数据产生映射关系？

在HDFS上创建映射文件

在node01上创建文件夹：mkdir hivedata

在hivedata中新建一个文件1.txt文件：

cd hivedata

vi 1.txt

在1.txt中编写如下数据

 

 

 

将1.txt文件上传到HDFS上的hivedata目录中

HDFS新建hivedata目录：hadoop fs -mkdir /hivedata

上传1.txt文件到hivedata目录：hadoop fs -put /root/hivedata/1.txt /hivedata

 

 

在Hive中创建映射表

在Hive的hello数据库中创建一张表

使用hello数据库：use hello;

创建t_user1表：create table t_user1(id int,name string,age int);

 

 

此时在HDFS上的/user/hive/warehouse路径下会生成一个hello.db的数据库，t_user1表在该文件夹下

 

 

 

建立表与文件的映射

操作：将HDFS上的1.txt文件赋值到t_user1表中去

命令：hadoop fs -cp /hivedata/1.txt /user/hive/warehouse/hello.db/t_user1

结果：在HDFS的t_user1文件夹下多出一个1.txt文件

 

 

在node02上查询表中数据，发现Hive感知到文件中的数据，但是数据没有解析出 来

 

 

原因

最低0.47元/天 解锁文章
Hive表DDL操作（二）
Junds0的博客
02-11 4383
第1关：Create/Drop/Alter 视图 本关任务：根据编程要求对数据库进行相应的操作。 #********* Begin *********# echo " CREATE DATABASE IF NOT EXISTS test1; CREATE TABLE IF NOT EXISTS test1.student( Sno INT, name STRING, age INT, sex STRING, score STRUCT<Chinese:FLOAT,Math:FLOAT,English:F
Hive表DDL操作（一）
Junds0的博客
02-11 1395
第1关：Create/Alter/Drop 数据库 本关任务：根据编程要求对数据库进行相关操作。 #********* Begin *********# echo " CREATE DATABASE IF NOT EXISTS test1 LOCATION '/hive/test1' WITH DBPROPERTIES('creator'='John','date'='2019-02-25'); ALTER DATABASE test1 SET DBPROPERTIES('creator'='Marry')
大数据从入门到实战 - Hive表DDL操作（二）
小啊呜的博客
01-14 8301
大数据从入门到实战 - Hive表DDL操作（二） 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：Create/Drop/Alter 视图 2、第2关：Create/Drop/ALTER 索引 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
Hive 数据操作语言全面解析
最新发布
qq_68076599的博客
12-06 1175
LOAD：用于将文件加载到表中。INSERT：能够从查询结果插入数据到 Hive 表、从 SQL 直接插入值到表，还支持动态分区插入以及将查询结果插入到文件系统目录等多种形式。UPDATE：对支持 ACID 的表进行更新操作（从 Hive 0.14 版本开始支持）。DELETE：同样针对支持 ACID 的表执行删除行的操作（从 Hive 0.14 版本开始支持）。MERGE：可以基于与源表的连接结果对目标表执行相应操作（从 Hive 2.2 版本开始支持）。
Hive表DDL操作（二） 第2关：Create/Drop/ALTER 索引
qq_61604164的博客
02-01 3721
Hive表DDL操作（二） 第2关：Create/Drop/ALTER 索引
hive的DDL和DML操作(二）
weixin_45631932的博客
10-16 527
一、查询语句语法分析 1. 查询语句语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] ] [LIMIT number] (1)ALL查询所有
Hive 基本操作（一）DDL操作
weixin_44387652的博客
03-08 2953
Hive 基本操作（一）DDL操作1、DDL 操作1.1、库操作1.1.1、创建库1.1.2、查看库1.1.3、删除库1.1.4、切换库1.2、表操作1.2.1、创建表1.2.1.1、创建内部表1.2.1.2、创建外部表1.2.1.3、创建分区表1.2.1.3、创建分桶表1.2.1.4、使用 like 关键字拷贝表1.2.2、查看表结构信息1.2.3、修改表1.2.3.1、重命名表1.2.3.2、修改表属性1.2.3.3、修改 SerDe 信息1.2.3.4、增加/删除/改变/替换列1.2.3.5、增加/删
大数据从入门到实战——Hive表DDL操作（一）
Littlerainlv的博客
10-27 1094
Hive表DDL操作Create/Alter/Drop 数据库Create/Drop/Truncate 表Alter 表/列表分区 Create/Alter/Drop 数据库 #********* Begin *********# echo " CREATE DATABASE IF NOT EXISTS test1 LOCATION '/hive/test1' WITH DBPROPERTIES('creator'='John','date'='2019-02-25'); ALTER DATABAS
Hive表ddl操作.zip
09-13
hive表ddl操作（一）
Hive-2 Hive的DDL操作
a3125504x的博客
06-24 511
Hive的DDL操作数据库DDL操作创建数据库显示所有数据库模糊查询数据库查看数据库详情切换当前数据库删除数据库表DDL操作建表语法创建内部表创建外部表创建内部表创建内部表创建内部表创建内部表创建内部表创建内部表 DDL是数据库模式定义语言，是用于描述数据库中要存储的现实世界实体的语言。 数据库DDL操作 创建数据库 hive > create database myhiv; 或者 hive > create database if not exists db_hive; 或者 create
HiveQL的DDL操作（二）——创建、分区、查询、修改、删除表
攻城狮Kevin
12-05 2356
DDL（data definition language）数据库定义语言： 关键词：create、select、alter、drop，对表的操作。 这篇博文主要详细整理了Hive中对于数据表的常用基本操作，创建一个demo表进行演示。 目录 一、创建表 1.1 创建表的完整语法及字段解释 1.2 管理表（内部表） （1）普通创建表 （2）根据查询结果创建表（create table...
Hive(二) -- ddl
BubbleMa
12-14 1182
Hive支持标准SQL，同时又有自己的特点，属于方言版SQL。Hive的ddl主要包含对于数据库和表的查询、创建和删除。dml包含数据查询和插入，其中插入有load和insert两种方式，针对于4种表的特点有不同的插入方式。 一、ddl : data define language 库： 创建库：create database dname; 切换库：use dname; 查询库列表：show database; show...
Hive中的DDL操作
Mark_Frank的博客
08-25 1868
参考文章：https://www.cnblogs.com/qingyunzong/p/8723271.html 首先引入以下什么是DDL、DML、DCL： DDL（data manipulation language） 它们是SELECT、UPDATE、INSERT、DELETE，就象它的名字一样，这4条命令是用来对数据库里的数据进行操作的语言。 DML（data definition language） DDL比DML要多，主要的命令有CREATE、
大数据从入门到实战 - Hive表DDL操作（一）
热门推荐
小啊呜的博客
01-14 1万+
大数据从入门到实战 - Hive表DDL操作（一） 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：Create/Alter/Drop 数据库 2、第2关：Create/Drop/Truncate 表 3、第3关：Alter 表/列 4、第4关：表分区 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
Hive基本DDL操作
fengge18306的博客
03-30 1244
1、数据库的DDL操作 （1）创建数据库 数据库在HDFS上的默认存储路径是/user/hive/warehouse/数据库名.db hive > create database db_hive; 两者等价 hive > create database if not exists db_hive;（用if not exists判断是否已存在该数据库） （2）显示所有数据库 ...
Hive学习（二）：HiveQL DDL操作
IcyDate的博客
01-06 1663
上一篇：Hive学习（一）：安装运行 数据库 创建数据库 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] 数据库名 [COMMENT 注释] [LOCATION hdfs存储路径] [WITH DBPROPERTIES (属性名=属性值, ...)]; DATABASE|SCHEMA：意义相同 WITH DBPROPERTIES：设置一些自定义键值对 可以到hdfs中看看，可以发现数据库就是一个文件夹 删除数据库 DR...
Hive（二）DDL DML DQL
ks_1998的博客
05-19 1980
Hive DDL
Hive的DDL操作
m0_63266054的博客
04-22 557
Hive的DDL操作
头哥Hive表DDL操作（二）
11-12
头哥Hive，通常指Apache Hive，是一个基于Hadoop的数据仓库工具，它允许用户通过SQL查询结构化的、存储在Hadoop分布式文件系统（HDFS）中的大规模数据集。关于表的DDL（Data Definition Language）操作，主要包括创建、修改和删除表： 1. **创建表（Create Table）**：使用`CREATE TABLE`命令定义一个新的表，包括表名、列名、数据类型、分区等信息。例如： ``` CREATE TABLE IF NOT EXISTS my_table ( col1 INT, col2 STRING, ...); ``` 2. **修改表（Alter Table）**：可以增加或删除列、改变列属性，甚至移动数据到其他表。如添加列： ``` ALTER TABLE my_table ADD COLUMNS (new_col INT); ``` 3. **分区表（Partitioning）**：将大表划分为更小的部分，提高查询效率。分区通常是基于日期或其他关键字，比如： ``` CREATE TABLE my_table PARTITIONED BY (year INT, month INT); ``` 4. **加载数据（Load Data）**：将数据从其他源导入到已存在的表中，如： ``` LOAD DATA LOCAL INPATH 'file.txt' INTO TABLE my_table; ``` 5. **删除表（Drop Table）**：如果不再需要某个表，可以使用`DROP TABLE`命令： ``` DROP TABLE IF EXISTS my_table; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值