hive中建好表后,使用load命令从本地文件系统导入数据,去表中查全是null

    hive中建了一张表,建表语句如下:

hive>create table user(
    > userid bigint,
    > username string,
    > age int,
    > sex tinyint,
    > address string
    > )row format delimited fields terminated by '\t';


   我使用的是从本地文件系统导入数据,导入语句为:

hive>load data local inpath '/home/lvyuan/temp/userinfo.data' overwrite into table user;

hive>select * from user;结果一查询全为null

问题就出在分隔符上,我的建表语句分隔符是'\t','\t’代表的是tab符号,你键盘上的tab键,如下图


之所以全是null,就是因为你在本地文件内容不是以tab符作为缩进的,所以它匹配不到

我没注意到,所以文件中数据都是以空格缩进的,难怪会错了

比如我的本地文件是user.data,里面内容以空格缩进的的话如下:

123  aa  2  0  hangzhou
245  bb  3  1  beijing
789  cc  2  0  shanghai
201  dd  3  1  guangzhou


以tab符缩进的的话如下:

123     aa      2       0       hangzhou
245     bb      3       1       beijing
789     cc      2       0       shanghai
201     dd      3       1       guangzhou

失之一毫,谬之千里,另外建表还支持以逗号、空格等分隔符,那么你文件中数据一定也要一逗号或者空格来缩进

  • 3
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: 第1关的任务是将文件中的数据导入Hive表中。这可以通过使用HiveLOAD命令来完成。首先需要创建一个Hive表,然后使用LOAD命令将文件中的数据加载到该表中。具体步骤如下: 1. 创建Hive表:使用CREATE TABLE语句创建一个Hive表,指定表的列名和数据类型。 2. 准备数据文件:将需要导入数据保存到一个文本文件中,每行数据对应表中的一条记录。 3. 使用LOAD命令导入数据使用LOAD命令数据文件中的数据导入Hive表中。 例如,以下是一个简单的示例: CREATE TABLE my_table ( id INT, name STRING, age INT ); LOAD DATA LOCAL INPATH '/path/to/data/file' INTO TABLE my_table; 其中,my_table是要创建的Hive表的名称,id、name和age是表的列名和数据类型。LOAD命令数据文件中的数据导入到my_table表中。需要注意的是,数据文件的路径应该是本地文件系统的路径,而不是HDFS路径。如果数据文件在HDFS上,可以使用LOAD命令的其他选项来指定HDFS路径。 ### 回答2: 将文件中的数据导入Hive表中,需要以下几个步骤: 1. 创建Hive表 首先,需要在Hive中创建一张表,表的结构需要和待导入的文件的结构保持一致,即表中的各列需要和文件中的各列相对应。可以使用Hive的CREATE TABLE语句创建表,例如: CREATE TABLE mytable ( id INT, name STRING, age INT, gender STRING ); 2. 创建外部表 若待导入的文件已经存在于HDFS上,我们可以创建外部表来映射这些文件,这样导入数据时就不需要将文件先拷贝到Hive的仓库目录下。可以使用Hive的CREATE EXTERNAL TABLE语句创建外部表,例如: CREATE EXTERNAL TABLE my_ext_table ( id INT, name STRING, age INT, gender STRING ) LOCATION '/user/hadoop/data'; 其中,LOCATION参数指定了待导入的文件所在的HDFS路径。 3. 导入数据 数据可以使用LOAD DATA INPATH命令数据导入Hive表中。例如: LOAD DATA INPATH '/user/hadoop/data/input.txt' INTO TABLE mytable; 其中,/user/hadoop/data/input.txt为待导入的文件的完整路径名,mytable为目标表的表名。可以使用相对路径或者HDFS URL指定待导入的文件。 导入过程中,Hive会自动识别文件中的分隔符、行终止符等信息,并将数据解析成表中的行。若文件中的列与表中的列不一致,导致解析失败,则可能会导致数据加载失败。 总的来说,将文件数据导入Hive表中的过程并不复杂,只需要在Hive中创建一个表,创建一个外部表(可选),并使用LOAD DATA INPATH命令将文件数据导入即可。在导入过程中需要注意数据格式的一致性,以免导致解析失败。 ### 回答3: 在Hadoop生态系统中,Hive是一种基于Hadoop的数据仓库架构,它可以将结构化数据映射到Hadoop的分布式文件系统中。Hive是基于SQL的解决方案,允许用户使用SQL查询语句来操作存储在Hadoop集群中的数据。 第一关的任务是将文件中的数据导入Hive表中。首先,需要确保Hadoop和Hive已经正确地安装和配置。如果还没有安装和配置Hadoop和Hive,请先按照要求完成这些步骤。 一旦Hadoop和Hive都已准备好,就可以开始导入数据了。在这个任务中,你需要使用Sqoop工具来将MySQL数据库中的数据导入到Hadoop中。Sqoop是一个开放源代码工具,它可以在Hadoop和结构化数据存储(如RDBMS)之间传输数据。 下面是实现的步骤: 1. 创建一个目录,用于存储从MySQL导出的数据。假设这个目录是“/user/hive/import”。 2. 运行Sqoop命令来导出MySQL数据库中的数据。假设这个命令的输出文件名为“myfile.txt”,并且输出的数据由“id”和“name”两列组成。Sqoop命令如下: sqoop export --connect jdbc:mysql://localhost/mydb --username myusername --password mypassword --table mytable --fields-terminated-by ',' --export-dir /user/hive/import --input-fields-terminated-by ',' --columns id,name --outdir /tmp 3. 运行Hive命令,创建一个表来存储上一步骤导出的数据命令如下: CREATE TABLE myhive (id INT, name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','; 4. 运行Hive命令,将“myfile.txt”中的数据加载到新创建的表中。命令如下: LOAD DATA INPATH '/user/hive/import/myfile.txt' INTO TABLE myhive; 至此,第一关的任务就完成了。现在你已经成功地将数据从MySQL导入Hive表中。你可以运行查询语句来检查表中的数据是否正确。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值