怎么对hive建表，并上传hdfs？ FAILED: SemanticException [Error 10001]: Line 1:68 Table not found ‘t_user_order‘

叁柒贰拾壹.

已于 2023-11-17 02:56:04 修改

阅读量723

点赞数 2

文章标签： hive hadoop 数据仓库

于 2023-11-17 02:55:26 首次发布

本文链接：https://blog.csdn.net/2201_75806156/article/details/134429743

版权

hive概述：

由Facebook开源用于解决海量结构化日志的数据统计，后称为Apache Hive为一个开源项目。

结构化数据：数据类型，字段，value---》hive
非结构化数据：比如文本、图片、音频、视频---》会有非关系型数据库存储，或者转换为结构化。
结构化日志数据：服务器生成的日志数据,会以空格或者制表符分割的数据,比如：apache、nginx等等。

Hive 是一个基于 Hadoop 文件系统之上的数据仓库架构，存储用hdfs，计算用mapreduce
hive还支持类sql语言，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能（披着sql外衣的MapReduce）
hive有个默认数据库：derby，默认存储元数据---》后期转换成关系型数据库存储mysql

小编已经写了怎么安装hive，以及怎么连接可视化软件，这里用到的是DBeaver软件

这篇文章的目的是怎么用hive对数据进行操作

Hadoop使用hdfs存储数据，Hive则是把hdfs数据文件映射成数据表，通过Hive SQL操作HDFS中的数据，其中Hive将SQL语句转换成MapReduce任务进行，因此Hive实质就是一个基于 HDFS 的 MapReduce 计算框架，对存储在 HDFS 中的数据进行分析和管理。

一、Hive数仓建模

（一)创建数据库和数据表

1.启动hive

首先启动集群

start-all.sh

启动hive

cd /opt/modules/hive/bin

hiveservice.sh start
hiveserver2

复制会话，输入hive

hive

连接到DBeaver

2.创建数据库

create database if not exists ods_didi; #原始数据层

create database if not exists dw_didi;  #数据仓库层

create database if not exists app_didi; #应用层

show databases; #查看所有数据库

DBeaver软件已经与hive相对应！

3.创建表

新建SQL编辑器

创建表

-- 创建表
CREATE TABLE IF NOT EXISTS database_name.table_name (
    column1_name data_type [COMMENT 'column1_comment'],
    column2_name data_type [COMMENT 'column2_comment'],
    ...
)
[PARTITIONED BY (partition_column data_type [COMMENT 'partition_column_comment'], ...)]
[ROW FORMAT DELIMITED FIELDS TERMINATED BY 'field_terminator' [ESCAPED BY 'escape_char']]
[STORED AS file_format]
[TBLPROPERTIES ('key1'='value1', 'key2'='value2', ... )];

-- 查看表结构描述
DESCRIBE database_name.table_name;

-- 查询表中所有数据
SELECT * FROM database_name.table_name;

中括号的都不是必须的
CREATE TABLE: 用于创建表的关键字。
IF NOT EXISTS: 如果表不存在则创建，避免重复创建表。
database_name.table_name: 表的完整名称，包括数据库名和表名。
列定义：每列包括列名、数据类型，可以包括注释。（分别是column1_name 、data_type、comment）
PARTITIONED BY: 可选，用于指定分区列，实现对表的分区管理。
hive中的表需要映射到hdfs文件中，所以需要定义文件中的每一行之间的分隔符，每一列之间的分隔符。增加行分隔符的语句如下：
ROW FORMAT DELIMITED FIELDS TERMINATED BY: 指定行的格式以及字段之间的分隔符。

ROW FORMAT DELIMITED FIELDS TERMINATED BY ','

这句的意思是以逗号来分隔行数据，那么这一行中的数据只要遇到一个逗号就可以划分为一个数据。这里的分隔符可以是其他字符，比如" ", "#" , "|", ''/t"(四个空格)等，一般只要用数据文件中可以区分每一行中的不同数据即可。
STORED AS: 指定存储格式，如 TEXTFILE, ORC, PARQUET 等。
TBLPROPERTIES: 可以包含表的一些属性，以键值对的形式提供。

举例：创建一个用户打车订单表，分别设置一下信息

-- 创建打车订单表
CREATE table if not exists ods_didi.t_user_order(
	orderId string comment '订单ID',
	telephone string comment '打车用户手机',
	lng string comment '用户发起打车的经度',
	lat string comment '用户发起打车的纬度',
	province string comment '所在省份',
	city string comment '所在城市',
	es_money double comment '预估打车费用',
	gender string comment '用户信息 - 性别',
	profession string comment '用户信息 - 行业',
	age_range string comment '年龄段(70后、80后、…)',
	tip double comment '小费',
	subscribe integer comment '是否预约(0 - 非预约、1 - 预约)',
	sub_time string comment '预约时间',
	is_agent integer comment '是否代叫（0 - 本人、1 - 代叫）',
	agent_telephone string comment '预约人手机',
	order_time string comment '预约时间'
)
partitioned by(dt string comment '时间分区')
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

DESCRIBE ods_didi.t_user_order;

SELECT * FROM  ods_didi.t_user_order;

整型：TINYINT、SMALLINT、INT、BIGINT
浮点：FLOAT、DOUBLE
布尔类型：BOOL （False/True）
字符串：STRING

创建其他表

订单取消表

订单支付表
订单评价表

4.查看hive里的表结构

desc ods_didi.t_user_order;

（二）hive数仓数据加载

1.上传数据

/opt/modules/tempdata

2.加载数据

load data local inpath '/opt/modules/tempdata/order.csv' into table t_user_order partition (dt='2020-04-12');

这里有个错误 FAILED: SemanticException [Error 10001]: Table not found ods_didi.t_order_total

显示找不到这个表，这时候表名是对应的，但是查不到，这是为什么呢？

因为自己创建了3个数据库，hive自带的数据库名字为default，在这个数据库中查找表，是查不到的，需要我们切换到对应的数据库

#切换
use 数据库名
 
use ods_didi;

继续加载其他四个表