通过Tushare的接口将数据存入MYSQL进行量化分析。在过程中出现中文乱码,如下图所示:
处理方式:
1、数据库连接需要采用utf8
engine = create_engine('mysql+pymysql://root@127.0.0.1:3306/test?charset=utf8')
2、MySQ配置文件http://my.in中需要采用utf8
[client]
default-character-set = utf8
[mysqld]
default-character-set=utf8
3、数据库需要采用utf8
4、navacat的连接方式为自动连接。
通过以上处理,能够解决中文乱码问题。
说明:
ASCII编码适合于英文文档的编码。Unicode编码适合于很多语言的编码。Unicode使用32位来表示字符,要求文本中每个字符占4个字节,比较浪费空间。
下面介绍几种常用的编码方式:
UTF-8:Unicode Transformation Format-8bit,允许含BOM,但通常不含BOM。是用以解决国际上字符的一种多字节编码,它对英文使用8位(即一个字节),中文使用24位(三个字节)来编码。UTF-8包含全世界所有国家需要用到的字符,是国际编码,通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如,如果是UTF8编码,则在外国人的英文IE上也能显示中文,他们无需下载IE的中文语言支持包。
GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的,即不论中、英文字符均使用双字节来表示,为了区分中文,将其最高位都设定成1。GBK包含全部中文字符,是国家编码,通用性比UTF8差,不过UTF8占用的数据库比GBK大。
GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换:
GBK、GB2312<===>Unicode<===>UTF8。这一点非常关键,就是两种不同的编码方式之间的互相转换,要通过Unicode编码作为桥梁。
说明:所有的编码方式都必须通过Unicode编码方式进行转化,Unicode编码是各种编码方式相互进行转化的一种方