问题导读:
1、--hive-import、--hive-overwrite的作用?
2、如何处理关系型数据库字段中字符串含有分隔符问题?
3、使用--hive-import默认字段分隔符是?一行记录分隔符是?
4、NULL值是怎么处理的?--null-string和--null-string的作用?
5、--hive-partition-key作用?分区值类型必须是?
6、--compression-codec作用?
7、Sqoop将关系型数据库数据导入Hive中,默认导入数据库是?默认导入路径是?如何指定某个特定的数据库?
一、原理及部分参数简介
1、Sqoop import主要功能是将数据导入到HDFS文件中。但是如果你有与Hadoop集群关联的Hive元数据服务,Sqoop也可以将数据导入到Hive中,通过创建表语句CREATE TABLE <表名>在Hive中定义数据布局。导入数据到Hive中很简单,在Sqoop命令行中,使用--hive-import选项。
2、 如果Hive中表已经存在,你可以使用--hive-overwrite选择来表明,在Hive中的此表必须被替换。如果你的数据已经被导入到HDFS中或者此步骤被忽略了,Sqoop将会产生一个Hive脚本,它包含"CREATE TABLE"操作使用Hive数据类型定义列和“LOAD DATA INPATH” 语句的来将数据文件加载到Hive warehouse目录中。
3、尽管Hive支持转义字符,但是它并不处理新行字符的转义。Hive使用Sqoop导入数据将会出现问题,当你的数据行中包含着含有Hive默认行分隔符(\n or \r)的字符串字段或者列分隔符(\01)。你可以使用--hive-drop-import-delims选项将那些字符删掉,提供给Hive兼容的文本数据,或者使用--hive-delims-replacement选择替换掉那些字符以用户自定义字符串以提供给Hive兼容的文本数据。这些选项仅仅在你使用Hive默认分隔符的时候使用。在已经指定不同分隔符的情况下,不应该使用。
如果你不使用指定的分隔符而使用--hive-import,那么默认使用^A作为字段分隔符, \n作为一条记录分隔符。
4、Sqoop默认的会将NULL值以string类型导入,在Hive中默认是使用\N表示NULL。这会导致,在Hive中执行查询的使用(like IS NULL)不起作用。你可以使用 --null-string和 --null-non-string在导入操作的时候。或者使用--input-null-string和--input-null-non-string在导出的时候来保护NULL值。因为Sqoop将会在生成的代码中使用这些参数。所以需要将\N变为\\N。如:$ sqoop import ... --null-string '\\N' --null-non-string '\\N'。
5、使用--hive-table 修改输出表名
6、Hive可以将数据分区导入以便提高查询性能。你可以使用--hive-partition-key或者 --hive-partition-value参数告诉Sqoop job以指定分区形式导入Hive中。分区值必须是个字符串。
7、使用--compression-codec 如后面接"com.hadoop.compression.lzo.LzopCodec"可以实现压缩。
二、启动Hive元数据服务
Hive安装此处不介绍,我使用的版本是Hive0.13.1,Hadoop2.2.0
[hadoopUser@secondmgt ~]$ hive --service metastore
Starting Hive Metastore Server
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.min.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.reduce.tasks.speculative.execution is deprecated. Instead, use mapreduce.reduce.speculative
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.min.split.size.per.node is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.node
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.input.dir.recursive is deprecated. Instead, use mapreduce.input.fileinputformat.input.dir.recursive
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.min.split.size.per.rack is deprecated. Instead, use mapreduce.input.fileinputformat.split.minsize.per.rack
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.max.split.size is deprecated. Instead, use mapreduce.input.fileinputformat.split.maxsize
15/01/18 20:13:52 INFO Configuration.deprecation: mapred.committer.job.setup.cleanup.needed is deprecated. Instead, use mapreduce.job.committer.setup.cleanup.needed
三、原始数据库
查看原数据库表中内容
mysql> select * from users;
+----+-------------+----------+-----+-----------+-------