python从sqlserver提取数据_通过Python读取sqlserver数据写成json文件的总结

最近在做将sqlserver的数据迁移到redshift上面，然后再做的过程当中出现了很多问题。(通过sqlserver 读取数据，然后写成json文件然后长传到S3上面，然后通过S3copy的形式将数据写入到redshift上面)

第一次通过csv的形式然后通过s3copy的形式将数据长传，里面出险了一些特殊的字符(比如\n \t \r)就很坑爹，这就是csv不好的地方。

遇到的问题1：

使用pands读取sql，然后将数据转成json之后，发现redshift不能加载直接转成的json。

转成的json格式，出险了上面的两遍带有[]的标识而且中间有逗号分隔，这样的json数据不能被redshift识别。要想识别还得重新对数据进行清洗。

问题2：

通过下面的这种方式读取的数据，然后将每一行的数据转成一个dataframe的形式再写成json的形式，然后把文件打开然后再将数据写入到文件当中。

但是这种的数据在逐条写入的时候，速度就特别的慢。40万的数据，写了一个小时没写完。

connect = pymssql.connect(host=sqlserver_host, user=sqlserver_username,

password=sqlserver_pwd, database=sqlserver_dbname, port=sqlserver_port) # 建立连接

cursor = connect.cursor()

if connect:

print("sqlserver连接成功!")

sql = ‘‘‘select * from %s a‘‘‘ % (sqlserver_script)

print(sql)

cursor.execute(sql) # 执行sql语句

columnDes = cursor.description # 获取连接对象的描述信息

columnNames = [columnDes[i][0] for i in range(len(columnDes))]

rs = cursor.fetchall()

f = open(‘/data/etl_log/sqlserver_data/{name}.json‘.format(name=sqlserver_script), ‘a‘)

count=0

for i in rs:

df = pd.DataFrame([list(i)], columns=columnNames)

#df = df.applymap(lambda x: str(x).replace(‘\r‘, ‘‘).replace(‘\n‘, ‘‘).replace(‘\t‘, ‘‘))

#df = df.applymap(replace_func,axis=0)

ss = df.to_json(orient=‘records‘).replace(‘[‘, ‘‘).replace(‘]‘, ‘‘)

f.write(ss+‘\n‘)

print(count)

count+=1

f.close()

读取速度慢的原因，一条数据在转成df的时候产生了很多对象。这个导致内存不能释放，所以速度很慢

最终的解决方案是通过map的形式将数据转成一个list，然后做成字典的形式，然后转化为json，然后写入到文件当中这样的速度还可以，40万的数据差不多10分钟不到。

for i inrs:

list_= list(map(lambda x: str(x).replace(‘\t‘, ‘‘).replace(‘\n‘, ‘‘).replace(‘\r‘, ‘‘), i))

ss=json.dumps(dict(zip(columnNames, list_)))

f.write(ss+‘\n‘)

print(count)

count+=1

至此问题得到解决。

原文：https://www.cnblogs.com/gxgd/p/11844891.html