python 编码问题——字符编码

原创 2015年07月10日 16:54:49

preface: 承接上一条博客,帮师兄处理json文件读入数据库中。python读入数据到数据库中,出现编码问题。python里面定义了utf-8,然而文件中有日文、韩文、其他符号、拉丁编码等等,对编码不够熟悉果然是要死银的,弄了挺久的,却终究一个函数可破。encode()函数。

decode()和encode()这两个函数,有空的时候还是多看看才是。

# -*- coding: utf-8 -*-
"""
Created on Fri Jul 10 16:49:56 2015

@author: shifeng
"""
import codecs
import json
import sys
reload(sys)    
sys.setdefaultencoding('utf8') 

f = codecs.open("xxx.json")
for line in f:
    line_dict = json.loads(line)
    text = line_dict["text"]
    text = text.encode(encoding="utf-8",errors = "ignores")
xxx.json文件中,text字段的值包含中文、拉丁编码、日文、韩文等。
unicode(string,encoding="GB2312")
另外编码问题可参考:http://blog.csdn.net/tingsking18/article/details/4033645

【中文编码】使用Python处理中文时的文字编码问题

最近,在处理中文编码的数据的时候,遇到了一些还是令人头疼的问题。 乱码! 乱码!! 乱码!!! 稍微整理一下处理过程,顺带着记录一下解决方案啥的……...
  • okcd00
  • okcd00
  • 2016年02月29日 14:40
  • 2427

python 处理中文遇到的编码问题总结 以及 字符str的编码如何判断

general : 尽量把所有的input 都decode成unicode。即 str.decode('')
  • xyqzki
  • xyqzki
  • 2014年07月25日 11:42
  • 18605

关于python中pymysql数据编码问题

最近从网上找了开源的在线客服系统——ppmessage,分别按照步骤在windows和ubuntu下进行了部署。测试了下,还不错。 但是用着,突然发现,中文不支持。于是,百度各种查、各种找资料,结果都...
  • csdnwws
  • csdnwws
  • 2016年07月19日 12:48
  • 5794

python字符编码问题的总结

概述: 以前刚学python时候遇到了一些关于字符编码的奇怪问题,没有仔细研究,而且为了避免这个问题就全用英文了,但是今天开始写的程序需要抓取网页上的中文,解析下来后字符编码的问题又回来了,而且比以...
  • No_red
  • No_red
  • 2017年01月19日 23:42
  • 269

python 2.x字符编码显示问题

Python2.x的中文显示方法 http://blog.sina.com.cn/s/blog_6b1ed4fb01019d4n.html python在安装时,默认的编码是ascii,当...
  • wuxiaobingandbob
  • wuxiaobingandbob
  • 2015年03月27日 08:56
  • 361

python 字符编码 调用其他程序 的一些问题记录

import sys print len(sys.argv) print type(sys.argv) print str(sys.argv) for a in range(1, len(...
  • qwerty_xk
  • qwerty_xk
  • 2013年06月04日 20:13
  • 964

python中字符编码问题

转自:http://ar.newsmth.net/thread-22e6e93f32a25f.html 我来讲一下字符问题我的理解吧,虽然我对Python的编码处理的具体细节还不太清楚,不过临时稍微...
  • shanliangliuxing
  • shanliangliuxing
  • 2012年11月20日 15:09
  • 443

Python字符编码的几个问题

几种字符编码方式ASCII——ASCII 码使用指定的7 位或8 位二进制数组合来表示128 或256 种可能的字符。标准ASCII 码也叫基础ASCII码,使用7 位二进制数(剩下的1位二进制为0)...
  • Linkin_ygw
  • Linkin_ygw
  • 2017年02月22日 14:55
  • 159

Python中的字符编码问题

写之前必须先吐槽一句,字符编码问题真是让人头疼啊啊啊啊!几种字符编码简介ASCII码这是美国标准信息交换码,用8位表示一个字符,当然用这种方式表示所有的英文字母是完全够用了,多余的还能用来表示控制字符...
  • Young_Shine
  • Young_Shine
  • 2016年05月24日 21:13
  • 161

python 字符编码处理问题总结 彻底击碎乱码!

Python 字符编码问题全面总结
  • cqbmax
  • cqbmax
  • 2014年05月30日 10:56
  • 3206
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:python 编码问题——字符编码
举报原因:
原因补充:

(最多只允许输入30个字)