Sqoop导入数据到hdfs

从Postgre导入数据到hdfs需要是用Sqoop。Sqoop是一个开源的工具，能将数据表从关系数据库导入HDFS或Hive上。

安装Sqoop配置好环境，执行命令：

sqoop import --connect jdbc:postgresql://1.1.1.1:5432/lrs --username user --password psswd --table table_statement --map-column-java result=String,context=String --target-dir /psql -m 1

其中需要注意的是，如果导入的表中有uuid以及json格式的列，需要是用--map-column-java参数使其变为string格式的。 尤其是uuid，我导入的时候因为uuid的问题一直提示失败，纠结了很久才发现这个问题。