前面已经发布了爬取小破站私信的文章,有老师问是否可以用自动化工具进行,当然可以;后面也将会发布,不过较为麻烦点,原因是小破站的登录需要破解验证码。本篇文章介绍前面遗留的内容:爬取csdn私信内容,包括私信作者名
一.登录csdn获得对应链接(以我的csdn为例)
消息中选择私信:
打开开发者工具抓包查找有关私信的内容:
有关私信的内容比如看到了作者名,或者是部分私信内容,这个要一个个尝试的,不要急于求成.
二.获取cookie
上图中,往下滑动即可得到对应cookie:
三.代码及分析
import requests
url="https://msg.csdn.net/v1/im/query/historySession3?page=1&pageSize=40"
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36 Edg/109.0.1518.70",
"cookie":"你自己登陆后所得到的cookie"
}
resp=requests.get(url=url,headers=headers)
messages=resp.json()["data"]
length=len(messages)
for i in range(0,length):
message=messages[i]
content=message["content"]
name=message["nickname"]
print("名称:"+name+","+"私信内容:"+content)
分析:
所获得数据为json格式,因此应用键值对对应关系,messages为私信列表,进行循环迭代,lenth是私信的数量,用len()方法即可获取,最后进行字符串拼接打印输出。
四.成果展示
五.后续安排
后面可能会更新有关spring和flask相关的文章,如果更为老师有有关于爬虫的项目,可以互相交流,共同进步!!!