爬虫之requests，json的使用------ json模块的新认知

最新推荐文章于 2024-08-19 22:00:11 发布

一起学python吧

最新推荐文章于 2024-08-19 22:00:11 发布

阅读量3.4k

点赞数

分类专栏：爬虫文章标签： json requests

本文链接：https://blog.csdn.net/myli_binbin/article/details/93771252

版权

爬虫专栏收录该内容

27 篇文章 2 订阅

订阅专栏

import json
import requests
"""
https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&callback=jsonp1&start=0&count=18&loc_id=108288&_=0
     以上是原始的url地址，因为其中有callback=jsonp1这个参数，所以在返回数据的时候并不是json格式，因此如果想要返回格式为json格式，将此参数删除即可，如下
"""

url = "https://m.douban.com/rexxar/api/v2/subject_collection/tv_american/items?os=ios&for_mobile=1&start=0&count=18&loc_id=108288&_=0"

headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1",
    "Referer": "https://m.douban.com/tv/american"
}


response = requests.get(url, headers=headers)
# print(response.text)   这样输出的话中文是被编码过的
# print(json.loads(response.text))   转换成字典类型输出就不会是编码过的了

# 1.因为写进文档中内容可以是字符串，不可以是python类型数据，因为可以直接写入json字符串，但是这种方式写入的话，中文是被编码过的

with open("json_douban.txt", "w", encoding="utf-8") as f:
    f.write(json.loads(response.text))

# 2.因此解决上面问题的办法是将获取的json字符串先转换成字典，再将字典转换成字符串的过程中解决了，如下 
# with open("json_douban_dumps.txt", "w", encoding="utf-8") as f:
#     f.write(json.dumps(json.loads(response.text), ensure_ascii=False, indent=2))

# 在此说明一下　
# json.dumps(json.loads(response.text), ensure_ascii=False, indent=2)
# 参数1: ensure_ascii=False   --> 告知python不要将中文编码，显示原始字符
# 参数2: indent=2　　　　-->  告知python在存入的过程中要按照指定格式缩进