sqoop建表_transwarp环境下Hive创建表，并通过Sqoop导入数据-CSDN博客

本文链接：https://blog.csdn.net/weixin_39672443/article/details/111739284

本文介绍了如何在Transwarp环境中，通过Hive创建表并使用Sqoop从Oracle数据库导入数据。首先，创建HDFS上的目标目录，然后执行Sqoop import命令导入数据。接着，创建外部表并指定数据文件位置，使得数据与表关联。此外，还提供了创建、查看、修改权限和删除HDFS目录的命令。

摘要由CSDN通过智能技术生成

//第一步先把oracle中的数据导入到hdfs下面执行导入命令之前需要创建日志文件目录 /root/nantong_out/以及hdfs导入文件目录/jssdatas/nantong/ 其中/e_mp_cur_curve 目录会在导入语句中自动创建，不需要单独创建。

nohup sqoop import --connect jdbc:oracle:thin:@192.168.2.155:1521:orcl --username nantong --password nantong123 --fetch-size 1000 -m 1 --target-dir /jssdatas/nantong/e_mp_cur_curve/ --query "select * from e_mp_cur_curve where \$CONDITIONS" --fields-terminated-by '\001' &>/root/nantong_out/e_mp_cur_curve.out &

//第二步创建表并把表和数据文件关联 use databasename 用哪个数据库就会在哪个数据库下面建表建表时会指定对应的数据文件，这样数据就可以关联起来了

create external table e_mp_cur_curve ( id string,data_date string,phase_flag int,data_whole_flag string,data_point_flag int,i1 double,i2 double,i3 double,i4 double,i5 double,i6 double,i7 double,i8 double,i9 double,i10 double,i11 double,i12 double,i13 double,i14 double,i15 double,i16 double,i17 double,i18 double,i19 double,i20 double,i21 double,i22 double,i23 double,i24 double,i25 double,i26 double,i27 double,i28 double,i29 double,i30 double,i31 double,i32 double,i33 double,i34 double,i35 double,i36 double,i37 double,i38 double,i39 double,i40 double,i41 double,i42 double,i43 double,i44 double,i45 double,i46 double,i47 double,i48 double,i49 double,i50 double,i51 double,i52 double,i53 double,i54 double,i55 double,i56 double,i57 double,i58 double,i59 double,i60 double,i61 double,i62 double,i63 double,i64 double,i65 double,i66 double,i67 double,i68 double,i69 double,i70 double,i71 double,i72 double,i73 double,i74 double,i75 double,i76 double,i77 double,i78 double,i79 double,i80 double,i81 double,i82 double,i83 double,i84 double,i85 double,i86 double,i87 double,i88 double,i89 double,i90 double,i91 double,i92 double,i93 double,i94 double,i95 double,i96 double ) row format delimited fields terminated by '\001' lines terminated by '\n' location '/jssdatas/nantong/e_mp_cur_curve';

//创建文件目录命令(普通文件目录命令没权限的情况下，按照以下来执行)

sudo -u hdfs hdfs dfs -mkdir /jssdatas/nantong/e_mp_cur_curve //创建

sudo -u hdfs hdfs dfs -chmod /jssdatas/nantong/e_mp_cur_curve //赋权限

sudo -u hdfs hdfs dfs -ls /jssdatas/nantong/e_mp_cur_curve //查看

sudo -u hdfs hdfs dfs -rm -R /jssdatas/nantong/e_mp_cur_curve //删除

sudo -u hdfs hdfs dfs -chown hive:hadoop /jssdatas/nantong/e_mp_cur_curve //给某用户赋权限

//普通文件目录命令

hdfs dfs -mkdir /jssdatas/nantong/e_mp_cur_curve //创建

hdfs dfs -chmod /jssdatas/nantong/e_mp_cur_curve //赋权限

hdfs dfs -ls /jssdatas/nantong/e_mp_cur_curve //查看

hdfs dfs -rm -R /jssdatas/nantong/e_mp_cur_curve //删除