pandas使用read_sql遇到的编码问题('latin-1' codec can't encode characters in position 12-15: ordinal not in r)

用SQLAlchemy连接mysql数据库来读取数据到pandas的Dataframe中可以直接使用pandas中的read_sql方法，该方法返回以sql查询结果组成的Dataframe。其中的con参数可以使用SQLAlchemy中的engine来建立数据库连接来读取数据。index_col是一个list，列表中的列将成为返回的Dataframe中的index（如果包含多个列则为multi_index）,chunksize如果设置了

   pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

     下面就举一个简单的例子：

 

from sqlalchemy import create_engine 
import pandas as pd

#连接DB_ADDRESS下的dbname数据库，将username和password替换一下即可
engine = create_engine("mysql://username:"+'password'+"@{}/{}".format(DB_ADDRESS,dbname),encoding='utf-8')

#将sql语句执行结果存到return_df中，并以date_id列作为dataframe索引。
return_df=pd.read_sql('select * from ...',engine,index_col=['date_id'])
print return_df

  这个方法足以应对大部分的数据库查询工作，但是今天遇到了一个问题，在mysql查询语句中包含中文字符时，程序报错：

 

UnicodeEncodeError: 'latin-1' codec can't encode characters in position 12-15: ordinal not in range(256)

看字面意思好像是SQLAlchemy内部默认会将sql语句用‘latin-1’进行编码，我们希望其使用utf-8来对其进行编码，这可以在创建engine中设置，设置方法如下：

 

engine = create_engine("mysql://username:"+'password'+"@{}/{}?charset=utf8".format(DB_ADDRESS,stockdb),encoding='utf-8')

这样就可以将SQLAlchemy内部默认编码方式改成utf8，程序就不会报错了。