[Hadoop]Sqoop 1.4.2中文文档（三）之SqoopJob与其外的操作

[size=large][b]一、sqoop job相关命令参数[/b][/size]

usage: sqoop job [GENERIC-ARGS] [JOB-ARGS] [-- [<tool-name>] [TOOL-ARGS]]

Job management arguments:
   --create <job-id>            Create a new saved job
   --delete <job-id>            Delete a saved job
   --exec <job-id>              Run a saved job
   --help                       Print usage instructions
   --list                       List saved jobs
   --meta-connect <jdbc-uri>    Specify JDBC connect string for the
                                metastore
   --show <job-id>              Show the parameters for a saved job
   --verbose                    Print more information while working

Generic Hadoop command-line arguments:
(must preceed any tool-specific arguments)
Generic options supported are
-conf <configuration file>     specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|jobtracker:port>    specify a job tracker
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

简单第一眼望去，终于比导入和导出的参数少了很多，自然内容好说一些。

Job存在的目的，是对频繁只用不变化的导入导出工作做自动化处理，例如创建一个Job每天做增量导入，导入最新的数据，这样的任务就可以使用Job来进行。

举个例子：
创建一个Job

$ sqoop job --create myjob -- import --connect jdbc:mysql://example.com/db \
    --table mytable

查询当前Job列表

$ sqoop job --list
Available jobs:
  myjob

查看某个Job的详情：

 $ sqoop job --show myjob
 Job: myjob
 Tool: import
 Options:
 ----------------------------
 direct.import = false
 codegen.input.delimiters.record = 0
 hdfs.append.dir = false
 db.table = mytable
 ...

执行某个Job：

$ sqoop job --exec myjob
10/08/19 13:08:45 INFO tool.CodeGenTool: Beginning code generation
...

执行时重写相关参数，例如你数据库的用户名和密码改变了：

$ sqoop job --exec myjob -- --username someuser -P
Enter password:
...

拥有--meta-connect私有存储空间的hadoop机器才能进行job操作，否则将会报如下错误：

[work@vm-nba01 ~]$ sqoop job --list
12/10/24 16:38:34 ERROR tool.JobTool: There is no JobStorage implementation available
12/10/24 16:38:34 ERROR tool.JobTool: that can read your specified storage descriptor.
12/10/24 16:38:34 ERROR tool.JobTool: Don't know where to save this job info! You may
12/10/24 16:38:34 ERROR tool.JobTool: need to specify the connect string with --meta-connect.

也就是说机器不知道你要的Job保存在哪里了，所以关于一切Job的操作都是徒劳的。

[size=large][b]二、Metastore connection options[/b][/size]
上面Joblist出错的问题这里就可以解决了，这里可以教你怎么创建Job的存储空间，相关参数：

Argument	 Description
--meta-connect <jdbc-uri>	 Specifies the JDBC connect string used to connect to the metastore

默认你会在$HOME/.sqoop目录下有一个私有的数据存储，你通过sqoop-metastore命令可以使用热数据存储来建立空间
By default, a private metastore is instantiated in $HOME/.sqoop. If you have configured a hosted metastore with the sqoop-metastore tool, you can connect to it by specifying the --meta-connect argument. This is a JDBC connect string just like the ones used to connect to databases for import.

In conf/sqoop-site.xml, you can configure sqoop.metastore.client.autoconnect.url with this address, so you do not have to supply --meta-connect to use a remote metastore. This parameter can also be modified to move the private metastore to a location on your filesystem other than your home directory.

If you configure sqoop.metastore.client.enable.autoconnect with the value false, then you must explicitly supply --meta-connect.（上述位置待以后实际操作后再翻译）

找到sqoop-site.xml的配置文件，发现如下配置：

<property>
    <name>sqoop.metastore.client.enable.autoconnect</name>
    <value>false</value>
    <description>If true, Sqoop will connect to a local metastore
      for job management when no other metastore arguments are
      provided.
    </description>
  </property>

看来这个值设置为了false，导致不能够使用Job相关操作了。

<property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.
    </description>
  </property>

当这个值为真的时候才会保存密码。

sqoop-metastore命令可以检查你配置sqoop数据连接的正确性，当然这些配置还是在sqoop-site.xml中。

sqoop-merge命令可以允许你合并2个数据集到1个数据集。merge命令的相关参数：

Argument	 Description
--class-name <class>	 Specify the name of the record-specific class to use during the merge job.
--jar-file <file>	 Specify the name of the jar to load the record class from.
--merge-key <col>	 Specify the name of a column to use as the merge key.
--new-data <path>	 Specify the path of the newer dataset.
--onto <path>	         Specify the path of the older dataset.
--target-dir <path>	 Specify the target path for the output of the merge job.

举例：

$ sqoop merge --new-data newer --onto older --target-dir merged \
    --jar-file datatypes.jar --class-name Foo --merge-key id

这样就会运行一个MapReduce的任务，新的数据集使用优先度高于老的数据集。
它能被使用在both SequenceFile-, Avro- and text-based incremental imports.并且新老的数据类型时相同的。

sqoop-codegen命令可以还原的你的java类，如果你的源码java丢失了，但是数据没有丢失，可以使用这样的命令：

$ sqoop codegen --connect jdbc:mysql://db.example.com/corp \
    --table employees

sqoop-create-hive-table可以创建一个Hive表，复制某一个数据源的数据存储格式，例如：

$ sqoop create-hive-table --connect jdbc:mysql://db.example.com/corp \
    --table employees --hive-table emps

sqoop-eval命令可以让用户快速做一个操作，结果显示在控制台中。例如：

$ sqoop eval --connect jdbc:mysql://db.example.com/corp \
    --query "SELECT * FROM employees LIMIT 10"

$ sqoop eval --connect jdbc:mysql://db.example.com/corp \
    -e "INSERT INTO foo VALUES(42, 'bar')"

sqoop-list-databases查看某个数据源的数据库列表，例如：

$ sqoop list-databases --connect jdbc:mysql://database.example.com/
information_schema
employees

sqoop-list-tables查看某个数据源的表列表，例如：

$ sqoop list-tables --connect jdbc:mysql://database.example.com/corp
employees
payroll_checks
job_descriptions
office_supplies

sqoop现在支持的数据库：

Database	 version	--direct support?	 connect string matches
HSQLDB	 1.8.0+	 No	jdbc:hsqldb:*//
MySQL	 5.0+	 Yes	jdbc:mysql://
Oracle	 10.2.0+	 No	jdbc:oracle:*//
PostgreSQL	 8.3+	 Yes (import only)	jdbc:postgresql://