Python网络爬虫案例实战：静态网页爬取：JSON数据库

Python网络爬虫案例实战：静态网页爬取：JSON数据库

3.3JSON数据库

JSON 全称为JavaScript Object Notation，也就是JavaScript对象标记，它通过对象和数组的组合来表示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。下面进行简单的介绍，第7章将对其进行详细介绍。

3.3.1JSON的使用

像urllib1 和 urllib2，如果用到 JSON，就要引入新模块，如JSON 和 simplejson，但在Requests 中已经有了内置的函数----r.json（）。以查询IP的API为例：

>>> r=requests.get ('http://ip.taobao.com')
>>> r.json()['data']['country']

3.3.2爬取抽屉网信息
此外，还可以利用Requests 和JSON 爬取网络信息。
[例3-1]爬取抽屉网信息（JSON数据）。

import requests 
from fake_useragent import UserAgent 
agent = UserAgent() 
import json #
# # 不要重复造轮子
# # pip search 工具包名字
#
# # pip install fake_useragent
#
url = "https://dig.chouti.com/getTopTenLinksOrComments.json?_=1529764992551"
# # 通过浏览器获取的操作一般都是get请求
headers = { "Host":"dig.chouti.com",
    "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0",
    "Accept": "application/json,text/javascript,*/*; q=0.01",
    "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3",
    "Accept-Encoding":"gzip,deflate, br",
    "X-Requested-With":"XMLHttpRequest",
    "Referer":"https://dig.chouti.com/",    "Cookie":"gpsd=0b08b9f5b945fd53eac7868a2e8945a8;JSESSIONID=aaazCSOWV2s7FcALFeHqw;gpid=55eaeb947f15445b82467624c476521f;_pk_id.1.a2d5=dbeb24b52f36519f.1529741245.1.1529741290.1529741245.;_pk_ses.1.a2d5=*",
    "Connection":"keep-alive"} 
data = {"_":"1529742010062"} 
res = requests.post(url, headers=headers, data=data) 
rs_js = json.loads(res.content) 
print(rs_js['result']['data'])

运行程序，输出如下：

raiseFakeUserAgentError'Maximumamountofretriesreached')fake_useragent.errors.FakeUserAgentError:Maximumamountofretriesreached[{''action':1,'actiontime'':1558879802717000,'actiontimeStr'':'8分钟前','closeIp'':False,commentsCount':0,'comm