Sqoop,Pig 数据导入

Oracle—> HDFS

sqoop 脚本会将 脚本中的 " " 给直接去掉，可能会遇到以下几个问题

1.关键字

如果遇到关键字，需要添加转义符号，才会识别为关键字列，否则数据会直接插入 关键字数据

2.Oracle表名中包含数字

如果表名中包含数字，需要添加转义字符，才会识别该表名

3.数据中包含特殊字符

3.1 对于包含特殊字符（\r \n \001）等特殊字符的数据，要使用 --hive-delims-replacement " " 将数据中所有的 \n,\r ,\001等特殊字符替换成 “ ” （空格）[可自定义替换数据]
-hive-drop-import-delims 直接将特殊字符给删掉。

3.2 对于Oracle 中 Clob数据类型， --hive-delims-replacement " " 与-hive-drop-import-delims 均不能起作用，解决方案如下：
3.2.1 在SQL中对该数据类型进行转换
to_char(column_name) 则会报错：Buffer too small for clob to char to Raw conversion
cast(column_name as vachar2(4000)) 报错：Buffer too small for clob to char to Raw conversion

3.2.1 在生成mapreduce 是指定该列转换为 java 指定的数据类型 String ,Timestamp 等
--map-column-java column_name = String, column_name = java.sql.Timestamp

4. --direct 快速转化数据

--direct 不能与 --hive-delims-replacement " " 同时使用

Phoenix —> HDFS

Pig 执行 hbase 查询时，不会将" " 去掉

1. Timestamp时间格式数据

当时用 pig 将phoenix 数据保存到hdfs 时，由于 phoenix 内部是不能识别 Date 数据类型的，因此需要将 所有的时间格式进行转化String 类型
TO_CHAR(Column_Name)

添加时区
TO_CHAR(CONVERT_TZ(TO_DATE(TO_CHAR(Column_Name)),\'UTC\',\'Asia/Shanghai\'))

2. 关键字

‘SEQUENCE’ 查的数据为 SEQUENCE
"SEQUENCE" 查询数据为 真实数据