基于requests爬虫17k小说网站---py版本

import requests
from lxml import etree
import json

headers={
    'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Mobile Safari/537.36'
}
session = requests.Session()
session.post('https://passport.17k.com/ck/user/login',
             data={
                 'loginName': '18994370039',
                 'password': 'hyh211985'
             },
             headers=headers)
res = session.get('https://user.17k.com/ck/author2/shelf?page=1&appKey=2406394919')
res.encoding = 'utf-8'
data = res.json().get("data")
# 循环处理每一本书
for book_Dict in data:
    book_id = book_Dict.get("bookId")
    # 爬虫每一章节的页面
    res = requests.get(f'https://www.17k.com/list/{book_id}.html')
    res.encoding = 'utf-8'
    # 爬虫获取章节的链接
    selector = etree.HTML(res.text)
    itmes = selector.xpath('//dl[@class="Volume"]/dd/a')
    for item in itmes:
        chapter_href = item.xpath('./@href')[0]
        chapter_title = not item.xpath('./span/text()')[0].strip()
        # 爬取章节内容
        res = requests.get(f'https://www.17k.com' + chapter_href)
        res.encoding = 'utf-8'
        chapter_html = res.text
        selector = etree.HTML(chapter_html)
        ret = selector.xpath('//div[@class="p"]/p')
        print(ret)
        break
        

首先-导入需要的模块

requests ---time---json----lxml

由于涉及到登录验证-所以我们考虑使用session方法-即session=requests.Session，在根据登录页面 知道应该发送post请求

所以是session.post(url,data) ,data在预览里可以看到 所带的件和值，如果没有携带data 就无法拿到动态的cookie，就会被反扒机制识别出来是爬虫程序，其次UA和referver反爬也是必须要携带的。

其次--结束登录验证环节-进入我们爬虫阶段-我们先拿到书架上的每一本书bookid和bookname，不过这部分数据属于json格式所以我们需要对其res.json().get("data")拿到的就是列表里面放的若干个字典--接着对列表里面的值进行循环，拿到bookid和bookname。为了统一编码--所以res.encoding="utf-8",在拿到每一本书的信息后-我们直接爬取每一章节的信息--这里需要使用xpath进行数据解析--这里解析的目的是要拿到每一章节的章节id和href（链接）--在拿到每一章节的信息后级可以直接对章节页面拿到我们想要的文本了--这里的xpath在代码里面 -我就不在展示了--最后把拿到的文本做一个可持续化的存储就可以了。