Python字符串-非转义和unicode

(1) 以r或R开头的python中的字符串表示（非转义的）原始字符串；

(2) 以u或U开头的字符串表示unicode字符串
Unicode是书写国际文本的标准方法。如果你想要用非英语写文本,那么你需要有一个支持Unicode的编辑器。
类似地,Python允许你处理Unicode文本——你只需要在字符串前加上前缀u或U。

错误：

SyntaxError: Non-ASCII character '\xe6' in file D:/workspace/morningmeeting/src/scrapy/loggTest.py on line 5, but no encoding declared; 

解决办法：

首先这些问题只有在python2.X版本出现，因为3.X版本中python环境就只有unicode类型的字符串了，即所有程序中处理的都会自动转换 成unicode字符串。那么2.X的python程序开发中如何避免和理清编码问题呢？首先要保持一个良好的统一规则，不然一切都是白扯了，统一都用 utf-8是最好的。
1.处理非ASCII编码


Python的默认编码是ascii编码，当python中间处理非ASCII编码时，经常会出现如下错误：
UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)
0x??是超出128的数字
我们常在文件开头加上编码属性：# -*-  coding=utf8  -*-
所以无法处理其他编码时需要设置python的默认编码为所需要的编码，主要有以下2个方法：
01. 首选方法
import sys reload(sys)#重新加载sys
sys.setdefaultencoding('utf-8')#看你的编码需要utf-8还是gb2312
为什么要在调用setdefaultencoding时必须要先reload一次sys模块呢？因为这里的import语句其实并不是sys的第一次导入 语句，也就是说这里其实可能是第二、三次进行sys模块的import，这里只是一个对sys的引用，只能reload才能进行重新加载；那么为什么要重 新加载，而直接引用过来则不能调用该函数呢？因为setdefaultencoding函数在被系统调用后被删除了，所以通过import引用进来时其实 已经没有了，所以必须reload一次sys模块，这样setdefaultencoding才会为可用，才能在代码里修改解释器当前的字符编码。
02.方法2- 全局设置
在Python的Lib\site-packages文件夹下新建一个sitecustomize.py文件（sitecustomize.py是一个特殊文件， Python 在启动时将尝试加载该文件，因此所有代码都将运行该文件)，即可自动设置代码。
import sys
sys.setdefaultencoding('gb2312')
3. 检查当前编码
import sys
sys.getdefaultencoding()



2.字符编码判断
通过chardet可以实现对字符串/文件的编码检测。
01. chardet的安装
通过easy_install工具可以实现chardet的快速安装，命令如下：easy_install.exe chardet
02. chardet的使用
chardet可以直接用detect函数来检测所给字符的编码。函数返回值为字典，有2个元数，一个是检测的可信度，另外一个就是检测到的编码。
import urllib
import chardet
rawdata = urllib.urlopen('http://www.sina.com.cn/').read()
print chardet.detect(rawdata)
#result: {'confidence': 0.99, 'encoding': 'GB2312'}
 
3.文件处理的解码
response = urllib.urlopen(url)
text = response.read().decode("utf-8")#add by insun
按照第一步设置了utf8编码 然后写了个抓取豆瓣mp3的程序 存储下来的mp3名字都是乱码 打印出来缺全是正确的中文
娴佹皳锛堥鎵嶄綔璇嶏級.mp3

这时候显然就需要解码


decode("utf-8")
我们不走远 姑且不谈BOM头问题。

4.Python操作Mysql中文乱码问题
Python操作MySQL需要安装Python-MySQL
可以从网上搜索一下，和一般的Python包一样安装

安装好之后，模块名字叫做MySQLdb ，在Window和Linux环境下都可以使用

用下面几个措施，保证MySQL的输出没有乱麻：
    1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)
    2 MySQL数据库charset=utf-8 
    3 Python连接MySQL是加上参数 charset=utf8 
    4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)
 
#encoding=utf-8

 

import sys

import MySQLdb

 

reload(sys)

sys.setdefaultencoding('utf-8')

 

db=MySQLdb.connect(user='root',charset='utf8')

cur=db.cursor()

cur.execute('use mydb')

cur.execute('select * from mytb limit 100')

 

f=file("/home/user/work/tem.txt",'w')

 

for i in cur.fetchall():

    f.write(str(i))

    f.write(" ")

 

f.close()

cur.close()