利用Sqoop从HDFS导出数据到DB

需求

hadoop分析完的结果数据最终要呈现给用户，其中一些结果可能需要导入DB。
这里大部分是insert操作，但是有些时候可能还需要update。最好是如果存在就update，不存在就insert。

目标

将一系列HDFS中的文件导出到RDBMS。这里要求RDBMS的表必须提前创建。
文件中的数据通过指定的分割符被解析为表中的记录。
支持insert、update和insertOrUpdate

语法

* 命令
sqoop-export或sqoop export
* 通用参数
  --connect <jdbc-uri>                             指定JDBC链接串
  --connection-manager   <class-name>   指定使用的connection manager class
  --driver <class-name>                          手动指定用户的JDBC driver class
  -P                                                        从console读入连接DB的password

  --password <password>                       设置连接DB的password
  --username <username>                      设置连接DB的username
  --connection-param-file <filename>      可选的连接DB的properties文件
  --verbose                                             运行时输出更多信息
  --hadoop-home <dir>                           覆盖$HADOOP_HOME
  --help输出用法介绍
* 导出参数
  --direct                                                Use direct export fast path
  --export-dir <dir>                                为了export的HDFS源路径
  -m,--num-mappers <n>                      使用n个map tasks去并行的执行export，默认为4
  --table <table-name>                         导入的Table
  --update-key <col-name>                   update时使用的条件列，多个列时用逗号分隔
  -update-mode <mode>                      update时，发现新记录的处理方式，默认updateonly，还可以设置allowinsert
  --input-null-string <null-string>          The string to be interpreted as null for string columns
  --input-null-non-string <null-str>        The string to be interpreted as null for non-string columns
  --staging-table <staging-table-name> The table in which data will be staged before being inserted into the destination table.
  --clear-staging-table                           Indicates that any data present in the staging table can be deleted.
  --batch                                              Use batch mode for underlying statement execution.
* Input解析参数
  --input-enclosed-by <char>                Sets a required field encloser
  --input-escaped-by <char>                 Sets the input escape character
  --input-fields-terminated-by <char>    Sets the input field separator
  --input-lines-terminated-by <char>     Sets the input end-of-line character
  --input-optionally-enclosed-by <char> Sets a field enclosing character
* 输出行格式参数
  --enclosed-by <char>                        Sets a required field enclosing character
  --escaped-by <char>                        Sets the escape character
  --fields-terminated-by <char>           Sets the field separator character
  --lines-terminated-by <char>           Sets the end-of-line character
  --mysql-delimiters                           Uses MySQL’s default delimiter set: fields: , lines: \n escaped-by: \ optionally-enclosed-by: '
  --optionally-enclosed-by <char>      Sets a field enclosing character
* 代码生成参数
  --bindir <dir>                                  Output directory for compiled objects 
  --class-name <name>                    Sets the generated class name. 

                                                       This overrides --package-name. When combined with --jar-file, sets the input class. 
  --jar-file <file>                               Disable code generation; use specified jar 
  --outdir <dir>                                 Output directory for generated code 
  --package-name <name>               Put auto-generated classes in this package 
  --map-column-java <m>                Override default mapping from SQL type to Java type for configured columns. 

最佳示例

         sqoop export --connect jdbc:oracle:thin:@xxx:1521:xxx --username xxx --password xxx\  

                             --export-dir  /user/hadoop/stat/*\

                             -m 1 \

                             --table NS_SLLOG_CLIENT_SUM_OS \

                             --update-key ACTIVITYTIME,CLIENT_VER,OS  \

                             --update-mode  allowinsert  \

                             --input-fields-terminated-by '\t'  \

                             --outdir jobs  \

                             --package-name com.xxxx.sqoop