【实用技巧】将本地csv文件导入到hive中

原创已于 2023-02-27 17:57:23 修改 · 3.3k 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据 #hadoop

于 2022-11-24 00:01:18 首次发布

大数据教程专栏收录该内容

4 篇文章

订阅专栏

本文详细介绍了如何在Hive中创建表，并通过HDFS上传CSV数据文件。首先创建了一个名为test01的Hive表，然后使用vim创建并填充了数据文件a.csv。接着，将a.csv文件放入HDFS的指定目录下，并使用hdfs dfs -put命令将文件上传到Hive表对应的HDFS路径。最后，通过示例展示了如何将数据入库，为后续的数据处理和分析奠定了基础。

step1：在hive中创建表test01，并使用命令"show create table 表名"，得到该表存放的hdfs文件路径（数据入库时需要用到）

create table if not exists fzp.test01(
name string,
number string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

step2：使用vim创建文件a.csv,并存入数据。例如：

张三，89546
李四，54566
王五，54266

step3：进入HDFS下的hadoop下的bin目录，并将a.csv文件放在该目录下

step4：执行命令

命令格式：./hdfs dfs -put 数据存放路径数据表在hdfs文件路径

 ./hdfs dfs -put a.csv hdfs://hacluster/user/hive/warehouse/fzp.db/test01

# hadoop目录下
bin/hadoop fs -put /home/weihu/fz_file_wjn/mt_product_price hdfs://hacluster/user/hive/warehouse/fzp.db/mt_product_price/