爬取博客评论

目标地址

# 通过抓包获取数据
# 一般评论文件为  .json   文件
# 还要找到真实的  url  地址
# 多数在 Networt  --- XHR 中
import requests
import json
link = 'https://api-zero.livere.com/v1/comments/list?callback=jQuery112406489430445652984_1582356847465&limit=10&repSeq=4272904&requestPath=%2Fv1%2Fcomments%2Flist&consumerSeq=1020&livereSeq=28583&smartloginSeq=5154&code=&_=1582356847467'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
}
r = requests.get(link,headers=headers)
print('页面状态响应码: ',r.status_code)  #  此时已经拿到了 真实的 url  地址 请求 并响应成功
json_string = r.text   # 存储数据
json_string = json_string[json_string.find('{'):-2]  #  仅仅提取字符串中符合json格式的部分
json_data = json.loads(json_string)  # 转化为 .json 数据格式
comment_list = json_data['results']['parents']# 键名  键名





for eachone in comment_list:
    message = eachone['content']
    #  评论数据的 键名
    names = eachone['name']  #  评论名字的键名
    print(names)
    with open(r'C:\Users\DELL\Desktop\python_wd\文本信息\博客评论.txt','a+')as f:
        f.write("======华丽分割线======\n")
        f.write("评论用户名：\n\t")
       # f.write('\n')
        f.write(names)
        f.write("\n")
        f.write("评论详情：\n\t")
        f.write(message)
        f.write('\n')
        f.close()

运行代码结果部分结果截图：

—————————— END