Sqoop 公用参数

本文详细介绍了在Hadoop环境中,与数据库交互时的公用参数,包括连接数据库的URL、用户名、密码以及连接管理类等关键选项。同时,对于数据导入和导出,文章阐述了字段分隔符、行终止符以及转义字符等设置,确保数据迁移的准确性和完整性。此外,针对Hive,文章提及了如何处理数据中的特殊字符、创建和管理分区以及自定义数据类型等操作,为高效使用Hive提供了实用指导。
摘要由CSDN通过智能技术生成
公用参数:数据库连接
序号参数说明
1–connect连接关系型数据库的URL
2–connection-manager指定要使用的连接管理类
3–driverHadoop根目录
4–help打印帮助信息
5–password连接数据库的密码
6–username连接数据库的用户名
7–verbose在控制台打印出详细信息
公用参数:import
序号参数说明
1–enclosed-by <char>给字段值前加上指定的字符
2–escaped-by <char>对字段中的双引号加转义符
3–fields-terminated-by <char>设定每个字段是以什么符号作为结束,默认为逗号
4–lines-terminated-by <char>设定每行记录之间的分隔符,默认是\n
5–mysql-delimitersMysql默认的分隔符设置,字段之间以逗号分隔,行之间以\n分隔,默认转义符是\,字段值以单引号包裹。
6–optionally-enclosed-by <char>给带有双引号或单引号的字段值前后加上指定字符。
公用参数:export
序号参数说明
1–input-enclosed-by <char>对字段值前后加上指定字符
2–input-escaped-by <char>对含有转移符的字段做转义处理
3–input-fields-terminated-by <char>字段之间的分隔符
4–input-lines-terminated-by <char>行之间的分隔符
5–input-optionally-enclosed-by <char>给带有双引号或单引号的字段前后加上指定字符
公用参数:hive
序号参数说明
1–hive-delims-replacement <arg>用自定义的字符串替换掉数据中的\r\n和\013 \010等字符
2–hive-drop-import-delims在导入数据到hive时,去掉数据中的\r\n\013\010这样的字符
3–map-column-hive <arg>生成hive表时,可以更改生成字段的数据类型
4–hive-partition-key创建分区,后面直接跟分区名,分区字段的默认类型为string
5–hive-partition-value <v>导入数据时,指定某个分区的值
6–hive-home <dir>hive的安装目录,可以通过该参数覆盖之前默认配置的目录
7–hive-import将数据从关系数据库中导入到hive表中
8–hive-overwrite覆盖掉在hive表中已经存在的数据
9–create-hive-table默认是false,即,如果目标表已经存在了,那么创建任务失败。
10–hive-table后面接要创建的hive表,默认使用MySQL的表名
11–table指定关系数据库的表名
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值