csv数据导入至Oracle，遇到的中文格式问题及数据量问题

问题描述

在数据相关的科研学习工作中，可能需要将大量的数据从移动设备保存至服务器中，用于处理并且备份数据；量比较大的数据往往以csv的格式进行保存，服务器的数据库软件多是MySQL或者Oracle。
我所使用的的服务器是windows servers 2008，数据库是Oracle。
在导入csv的过程中发现，有一部分csv用Navicat导入时中文正常，但是用PL/SQL导入或者sqlldr导入时，中文就是乱码。

解决方法

出现乱码的原因多是因为编码格式不统一。

1. 查看Oracle的编码格式和PL/SQL的编码格式是否一致
   查看Oracle的编码格斯：

   select * from nls_database_parameters where parameter =’NLS_CHARACTERSET’;
   

   查看PL/SQL的编码格式：
   系统环境变量 →NLG_Language
   但是多数情况下，以上两种格式是一致的
2. 更改csv的编码方式
   我保存csv时多是保存为utf-8的编码格式，但是这种格式在导入到数据库可时可能导致中文乱码，可以尝试将格式修改为“GB18030”，之后再导入。
   网上多数建议的修改方式是用excel打开后再改，但是对大数据而言，用excel等软件打开不太现实，可以用python进行部分处理，将csv分块转为GB18030的格式，之后再用PL/SQL或者sqlldr导入，中文就可以正常显示。

tips

使用sqlldr导入数据时，也要设置编码格式，例如：

load data
CHARACTERSET ZHS16GBK -- 设置编码格式，与Oracle的编码格式一致
infile ‘< 需要导入的文件路径>’
append into table <目标表名>  --这里用的Append.
fields terminated by ","   --这里表示逗号分割。
(***，***，...)  --字段名称