spark加工hive -＞高斯数据库报错这里记录一下排查过程(java.lang.NumberFormatException : For input string: “111 |)

1: 首先配置映射提示了第一个错误，这个错误是由于高斯数据库的驱动包导致的，我们需要替换程序对应的驱动包到对应的lib中，根据客户获取驱动包gsjdbc4.jar进行替换，将原来的postgresql-9.1-901.jdbc4.jar进行备份

**2:**替换驱动包之后实际的错误并没有发生改变，但是报错由原来的中文报错切换为了英文报错。

org.postgresql.util.PSQLException: The authentication type 5 is not supported. Check that you have configured the pg_hba.conf file to include the client’s IP address or subnet, and that it is using an authentication scheme supported by the driver.

3:经过分析之后判断可能是spark中也包含高斯的驱动包，导致运行流程时冲突报错的出现，于是再去spark的jars中进行查找，发现高斯驱动包之后，将jar包拿出jars目录…/Spark2x/spark/jars/gsjdbc4-V100R003C10SPC125.jar再启动流程进行查看发现流程运行成功了，但是实际数据没有入库成功

4:修改资源注册中的jdbc连接串为jdbc:postgresql://127.0.0.1:8000/postgres?currentSchema=dm_ams测试连接通过之后再运行流程有了新的报错，这个报错提示字段长度超出范围。需要修改表设计

Caused by: org.postgresql.util.PSQLException: ERROR: value too long for type character varying(20)

**5:**修改表设计完成之后启动流程提示如下错误，这个错误是由于输出的日志格式有问题导致解析逻辑发生异常，这里需要修改spark的log4j的输出格式

java.lang.NumberFormatException : For input string: "111 |

**6:**修改spark客户端配置文件
…/Spark2x/spark/conf/log4j.properties
%d{MM-dd HH:mm:ss,SSS} [%t] ~%X{taskRunId} %-5level %c{1.} %L %M - %m%n

**7:**流程运行成功，数据入库成功！