json格式数据默认为string,可以使用eval()函数或者json模块将其转换为dict.标准Json字符串必须使用双引号(")而不能使用单引号('),否则从字符串转换成dict类型会提示出错。
方法一(使用eval函数):
# -*- coding: UTF-8 -*- import urllib2 url='http://www.weather.com.cn/data/cityinfo/101010100.html' req = urllib2.Request(url) res = urllib2.urlopen(req).read() res_d = eval(res) # use eval() to convert json string to dict. eval():将字符串str当成有效的表达式来求值并返回计算结果 print type(res_d) print res_d['weatherinfo']['city'] print res_d['weatherinfo']['temp1'] print res_d['weatherinfo']['temp2']
返回结果:
<type 'dict'>
北京
-2℃
16℃
方法二(使用JSONDecoder):
# -*- coding: UTF-8 -*- import urllib2,sys from json import * reload(sys) sys.setdefaultencoding('utf-8') url='http://www.weather.com.cn/data/cityinfo/101010100.html' req = urllib2.Request(url) res = urllib2.urlopen(req).read() res_d = JSONDecoder().decode(res) print type(res_d) print res_d['weatherinfo']['city'] print res_d['weatherinfo']['temp1'] print res_d['weatherinfo']['temp2']
将dict转换为json:
JSONEncoder().encode(res_d)
方法三(使用json):
#dict convert to json string. res = json.dumps(res_d) print type(res) #json string convert to dict. res_d = json.loads(res) print type(res_d)
附:
res返回值(json):
{"weatherinfo":{"city":"北京","cityid":"101010100","temp1":"-2℃","temp2":"16℃","weather":"晴","img1":"n0.gif","img2":"d0.gif","ptime":"18:00"}}
res_d返回值(dict):
{u'weatherinfo': {u'city': u'\u5317\u4eac', u'ptime': u'18:00', u'cityid': u'101010100', u'temp2': u'16\u2103', u'temp1': u'-2\u2103', u'weather': u'\u6674', u'img2': u'd0.gif', u'img1': u'n0.gif'}}
当使用json.loads时,如果原字符串中包含有 \r\n\t等字符,则会提示报错,解决办法:
d3='{"EventTime":"2016-05-13 08:51:01","Hostname":"PC-L","Keywords":-9214364837600034816,"EventType":"AUDIT_SUCCESS","SeverityValue":2,"Severity":"INFO","EventID":4634,"SourceName":"Microsoft-Windows-Security-Auditing","ProviderGuid":"{54849625-5478-4994-A5BA-3E3B0328C30D}","Version":0,"Task":12545,"OpcodeValue":0,"RecordNumber":1053242,"ProcessID":776,"ThreadID":20412,"Channel":"Security","Message":"已注销帐户。\r\n\r\n使用者:\r\n\t安全 ID:\t\tS-1-5-21-3510791965-1333398612-533843580-1003\r\n\t帐户名:\t\ttaskuser\r\n\t帐户域:\t\tPC-L\r\n\t登录 ID:\t\t0x2305C35\r\n\r\n登录类型:\t\t\t4\r\n\r\n在登录会话被破坏时生成此事件。可以使用登录 ID 值将它和一个登录事件准确关联起来。在同一台计算机上重新启动的区间中,登录 ID 是唯一的。","Category":"注销","Opcode":"信息","TargetUserSid":"S-1-5-21-3510791965-1333398612-533843580-1003","TargetUserName":"taskuser","TargetDomainName":"PC-L","TargetLogonId":"0x2305c35","LogonType":"4","EventReceivedTime":"2016-05-18 15:38:35","SourceModuleName":"secin","SourceModuleType":"im_msvistalog"}' j=json.loads(d3,strict=False,encoding='utf-8') #j=json.loads(d3.replace('\r','\\r').replace('\n','\\n').replace('\t','\\t')) #将\r\n\t字符替换掉也可以 print type(j) #返回值:<type 'dict'> print j['Opcode'].encode('u8') #返回值:信息
参数strict=False 说明:
"If strict is False (True is the default), then control characters will be allowed inside strings. Control characters in this context are those with character codes in the 0-31 range, including '\t' (tab), '\n', '\r' and '\0'."
json.dumps()包含有中文解决办法:
d={"s-ip": "10.160.3.3", "c-ip": "10.16.100.24", "cs-username": "mail.xin.com\张三"} dsr = json.dumps(d,ensure_ascii=False,indent=2) #indent=2表示每行缩进两个字符 print dsr #返回: { "c-ip": "10.16.100.24", "s-ip": "10.16.3.3", "cs-username": "mail.xin.com\\张三" }
cjson应用:
cjson.decode(str):将字符串转换为字典,相当于json.loads(str)。
cjson.encode(dict):将字典转换为字符串,相当于json.dumps(dict)。
json.load(fo),打开一个文件流,如fo=open(file,'rb'),文件中只能有一个{},不能包含有多行{},jeson.loads直接转换string,每次转换一行。
如果str是一种非Unicode的普通含中文的json字符串,直接使用cjson.decode(str)时,会出现中文乱码。解决方法时先将str转换为Unicode格式,再进行decode,如:
cjson.decode(str.decode('utf8'))
cjson比json效率要高,decode 30w行数据,json.loads()耗时约7s,csjon.decode()耗时约2s
cjson下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#python-cjson
Python3下面可以使用ujson,安装:pip3 install ujson
示例如下:
filepath = 'e:\\logtest\\iis__20160519105745.json' #此为iis转换后的json log。 def query(filepath): with open(filepath,'rb') as fo: for line in fo: #lj = json.loads(line) #使用json lj = cjson.decode(line) #使用cjson if lj[u'sc-status'] == 401 and lj['cs-username'] is not None and lj['cs-username'] is not None: if lj[u'cs-uri-query'].find('DeviceType') <> -1: line_d = {} line_d['s-ip'] = lj[u's-ip'] line_d['s-date'] = lj[u'date'] line_d['time'] = lj[u'time'] line_d['c-ip'] = lj[u'c-ip'] line_d['cs-username'] = lj['cs-username'] line_d['DeviceType'] = lj[u'cs-uri-query'].split('DeviceType=')[1].split('&')[0] #print line_d query(filepath)
cjson.encode()没有其他参数,当dict中的value含有中文时,转换后为"mail.x.com\\\u738b\u5b50\u7426",重新decode()后还是如此,最后再通过dict['key'].encode('u8')后会重新显示为中文,示例:
#-*- coding: UTF-8 -*- d={"cs-username": u"mail.x.com\张三"} print cjson.encode(d) #返回{"cs-username": "mail.x.com\\\u5f20\u4e09"} print cjson.decode(cjson.encode(d).decode('u8')) #先decode为u8类型。返回{'cs-username': u'mail.x.com\\\u5f20\u4e09'},value部分自动转换为unicode格式 print cjson.decode(cjson.encode(d))["cs-username"].encode('u8') #返回mail.x.com\张三
eval()函数用法:http://www.tuicool.com/articles/BBVnQbq
JSON 格式转换:from:http://liuzhijun.iteye.com/blog/1859857
将python中的dict通过response返回给WEB前端时,不能直接使用dict格式,具体可见实例(ajax返回多个值(json格式))http://www.cnblogs.com/dreamer-fish/p/5441898.html
序列化(Serialization):将对象的状态信息转换为可以存储或可以通过网络传输的过程,传输的格式可以是JSON、XML等。反序列化就是从存储区域(JSON,XML)读取反序列化对象的状态,重新创建该对象。
JSON(JavaScript Object Notation):一种轻量级数据交换格式,相对于XML而言更简单,也易于阅读和编写,机器也方便解析和生成,Json是JavaScript中的一个子集。
Python2.6开始加入了JSON模块,无需另外下载,Python的Json模块序列化与反序列化的过程分别是 encoding和 decoding
encoding:把一个Python对象编码转换成Json字符串,json.dumps()
decoding:把Json格式字符串解码转换成Python对象,json.loads()
json是一个字符串,dict是一个字典,格式不同,但看起来长得相同。
对于简单数据类型(string、unicode、int、float、list、tuple、dict),可以直接处理。
json.dumps方法对简单数据类型encoding:
import json
data = [{'a':"A",'b':(2,4),'c':3.0}] #list对象
print "DATA:",repr(data)
data_string = json.dumps(data)
print "JSON:",data_string
输出:
DATA: [{'a':'A','c':3.0,'b':(2,4)}] #python的dict类型的数据是没有顺序存储的
JSON: [{"a":"A","c":3.0,"b":[2,4]}]
JSON的输出结果与DATA很相似,除了一些微妙的变化,如python的元组类型变成了Json的数组
json.loads方法处理简单数据类型的decoding(解码)转换
import json
data = [{'a':"A",'b':(2,4),'c':3.0}] #list对象
data_string = json.dumps(data)
print "ENCODED:",data_string
decoded = json.loads(data_string)
print "DECODED:",decoded
print "ORIGINAL:",type(data[0]['b'])
print "DECODED:",type(decoded[0]['b'])
输出:
ENCODED: [{"a": "A", "c": 3.0, "b": [2, 4]}]
DECODED: [{u'a': u'A', u'c': 3.0, u'b': [2, 4]}]
ORIGINAL: <type 'tuple'>
DECODED: <type 'list'>
解码过程中,json的数组最终转换成了python的list,而不是最初的tuple类型