python读取sqlserver的数据_通过Python读取sqlserver数据写成json文件的总结

最近在做将sqlserver的数据迁移到redshift上面，然后再做的过程当中出现了很多问题。(通过sqlserver 读取数据，然后写成json文件然后长传到S3上面，然后通过S3copy的形式将数据写入到redshift上面)

第一次通过csv的形式然后通过s3copy的形式将数据长传，里面出险了一些特殊的字符(比如\n \t \r)就很坑爹，这就是csv不好的地方。

遇到的问题1：

使用pands读取sql，然后将数据转成json之后，发现redshift不能加载直接转成的json。

转成的json格式，出险了上面的两遍带有[]的标识而且中间有逗号分隔，这样的json数据不能被redshift识别。要想识别还得重新对数据进行清洗。

问题2：

通过下面的这种方式读取的数据，然后将每一行的数据转成一个dataframe的形式再写成json的形式，然后把文件打开然后再将数据写入到文件当中。

但是这种的数据在逐条写入的时候，速度就特别的慢。40万的数据，写了一个小时没写完。

connect = pymssql.connect(host=sqlserver_host, user=sqlserver_username,

password=sqlserver_pwd, database=sqlserver_dbname, port=sqlserver_port) # 建立连接

cursor = connect.cursor()

if connect:

print("sqlserver连接成功!")

sql