爬取起点网小说【Python学习】

——>>python小白一枚，仅限于了解基础语法，经过多天的学习，结果令人欣慰，可以正确的输出"Hello world！！"。

本人从来不看小说，为了看看学习效果，自己找了个网站练练手，在经过小半年的分析后，终于成功爬取了非会员的部分，会员部分不知道要怎么搞，难道要开个会员然后加上cookie，咱也不知道，咱也不敢问。虽然不能爬取会员部分，主要的是分析过程。

获取文章内容，首先要获取每一篇文章的地址，这个很容易就想到去目录里找，将网页改为手机版，点击目录。

获取到目录之后，就完成了一半了，之前跟着视频做，network下点了XHR，咱也不知道这是啥，结果分析的时候点啥也不出响应。

分析一下每篇文章的url，发现变化的只有 chapterId，但是好像没什么规律，分析目录的json数据，解析一下，发现里面包含了每篇文章的id，其目录为["data"]["vs"][1]["cs"][i]["id"]

这样分析就完成了。

首先第一步，请求目录，获取每篇文章的id，构造每篇文章的地址，遍历每个地址，保存。

保存方式请忽略，拿到数据也不知道怎么解析，直接最原始的方式，拿出文本，碰到空格换行，没眼看没眼看。

import requests
import time
import json
from retrying import retry
import re
from bs4 import BeautifulSoup
headers = {
    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Mobile Safari/537.36",
    "Referer": "https://m.qidian.com/book/1209977/23204630"
}


@retry(stop_max_attempt_number=3)
def _parse_url(url):
    response = requests.get(url, headers=headers, timeout=5)
    return response.content.decode()


def parse_url(url):
    try:
        html_str = _parse_url(url)
    except:
        html_str = None

    return html_str


def Get_id_list(url):
    response = requests.get(url, headers=headers)
    html_str = response.content.decode()
    dict_data = json.loads(html_str)
    # print(dict_data)
    # with open("catalog.txt", "w", encoding='utf-8') as f:
    # f.write(json.dumps(dict_data, ensure_ascii=False, indent=2))
    id_list = []
    for i in range(0, 90):
        id_list.append(dict_data["data"]["vs"][1]["cs"][i]["id"])
    return id_list


class Spider:

    def __init__(self):
        self.temp_url = "https://m.qidian.com/majax/chapter/getChapterInfo?_csrfToken=Oh1r2d6OnPWIlOygK89bO4vMfoShqLABMX5Fhuz3&bookId=1209977&chapterId={}"

    def Get_content(self, html_str):
        dict_data = json.loads(html_str)
        content_list = dict_data["data"]["chapterInfo"]["content"]
        #print(dict_data["data"]["chapterInfo"]["content"])
        title = dict_data["data"]["chapterInfo"]["chapterName"]
        #print(total)
        #with open("content.txt", "w", encoding='utf-8') as f:
        #    f.write(json.dumps(dict_data, ensure_ascii=False, indent=2))
        return content_list, title

    def Save_content(self, content_list, name):
        #print(content_list[1])
        with open("novel/{}.txt".format(name), "w", encoding='utf-8') as f:
            f.write("\t\t\t\t\t\t\t\t\t\t" + content_list[1] + "\n",)
            soup = BeautifulSoup(content_list[0], 'html.parser')
            for item in soup.get_text():
                if item == "　":
                    f.write("\n")
                f.write(item)
        f.close()

    def __mainloop__(self,id_list):
        #print(id_list[0])
        for i in range(0, 10):
            url = self.temp_url.format(id_list[i])
            print(url)
            html_str = _parse_url(url)
            content_list = self.Get_content(html_str)
            self.Save_content(content_list, content_list[1])
            print(content_list[1], "已成功")


if __name__ == '__main__':
    url = "https://m.qidian.com/majax/book/category?_csrfToken  =Oh1r2d6OnPWIlOygK89bO4vMfoShqLABMX5Fhuz3&bookId=1209977"
    id_list = Get_id_list(url)
    spider = Spider()
    spider.__mainloop__(id_list)