在python中,普通字符串既可以容纳文本,也可以容纳任意的字节。
如果字符串中包含了空值或者其中超过30%的字符的高位是1(意味着字符的码值大于126)
或者是奇怪的控制码,我们就认为这段数据是二进制数据
# -*- coding:utf-8 -*-
from __future__ import division
import string
text_characters =''.join(map(chr,range(32,127)))+'\n\t\r\b'
_null_trans =string.maketrans('','')
def isText(s,text_characters=text_characters,threshold =0.30):
#若字符串包含空字符,则不是文本。
if '\0' in s:
return False
#一个空字符串是文本
if not s:
return True
#获得S的非文本字符构成的子串
t=s.translate(_null_trans,text_characters)
#如果不超过30%的字符是非文本字符,s是字符串
return len(t)/len(s)<=threshold