打卡学习Python爬虫第六天|处理cookie登录小说网

引言：一些网站不需要登录就能看到信息，但对于需要登录才能看见信息的网站，我们就需要借助cookie，使爬虫能够顺利登录网站，从而获取所需数据。

1、登录后查看页面源代码

并没有我们需要的数据

2、利用抓包工具

右键-->检查或者直接按F12，进入开发者页面，找到数据，拿到其url

 3、编写程序

# 1、登录 --> 得到cookie
# 2、访问 --> 带cookie访问，请求书架url

import requests

sessions = requests.session()
response = sessions.get("https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919",headers={
    "Cookie":"此处填入自己的cookie" })
print(response.json())

得到想要的数据

 4、保存为json文件

# 保存为json文件
import json
json.dump(response.json(),open("17k.json","w",encoding="utf-8"),ensure_ascii=False,indent=4)
# 读取json文件
json.load(open("17k.json","r",encoding="utf-8"))

完整代码： 

# 1、登录 --> 得到cookie
# 2、访问 --> 带cookie访问，请求书架url

import requests
import json

sessions = requests.session()
response = sessions.get("https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919",headers={
    "Cookie":"此处填入自己的cookie" })

# 保存为json文件
json.dump(response.json(),open("17k.json","w",encoding="utf-8"),ensure_ascii=False,indent=4)
# 读取json文件
json.load(open("17k.json","r",encoding="utf-8"))