Oracle—> HDFS
sqoop 脚本会将 脚本中的
" "
给直接去掉,可能会遇到以下几个问题
1.关键字
如果遇到关键字
,需要添加转义符号
,才会识别为关键字列,否则数据会直接插入 关键字数据
2.Oracle表名中包含数字
如果表名中包含数字
,需要添加转义字符
,才会识别该表名
3.数据中包含特殊字符
3.1 对于包含特殊字符(\r \n \001
)等特殊字符的数据,要使用 --hive-delims-replacement " "
将数据中所有的 \n,\r ,\001等特殊字符替换成 “ ” (空格)[可自定义替换数据]
-hive-drop-import-delims
直接将特殊字符给删掉。
3.2 对于Oracle 中 Clob
数据类型, --hive-delims-replacement " "
与-hive-drop-import-delims
均不能起作用,解决方案如下:
3.2.1 在SQL中对该数据类型进行转换
to_char(column_name)
则会报错:Buffer too small for clob to char to Raw conversion
cast(column_name as vachar2(4000))
报错:Buffer too small for clob to char to Raw conversion
3.2.1 在生成mapreduce 是指定该列转换为 java 指定的数据类型 String
,Timestamp
等
--map-column-java column_name = String, column_name = java.sql.Timestamp
4. --direct
快速转化数据
--direct
不能与 --hive-delims-replacement " "
同时使用
Phoenix —> HDFS
Pig
执行 hbase 查询时,不会将" "
去掉
1. Timestamp时间格式数据
当时用 pig
将phoenix 数据保存到hdfs 时,由于 phoenix 内部是不能识别 Date
数据类型的,因此需要将 所有的时间格式进行转化String
类型
TO_CHAR(Column_Name)
添加时区
TO_CHAR(CONVERT_TZ(TO_DATE(TO_CHAR(Column_Name)),\'UTC\',\'Asia/Shanghai\'))
2. 关键字
‘SEQUENCE’
查的数据为 SEQUENCE
"SEQUENCE"
查询数据为 真实数据