利用Python爬取小说

利用Python爬取小说

一、查看小说正文所在的标签

1、获取目录标签和每一章节的链接

2、获取小说正文所在标签

二、爬取小说具体代码

# _*_ coding:utf-8 _*_
import os
import sys
import re
import urllib.request
from bs4 import BeautifulSoup
os.chdir('C:/Users/Desktop')        ##设置路径

class downloader(object):
    def __init__(self):
        self.server = 'http://www.huanyue123.com/'                   ##小说网站首页
        self.target = 'http://www.huanyue123.com/book/37/37849/'     ##小说目录页面
        self.nums = 0
        self.names = []
        self.urls = []

    def get_downloader_url(self):
        html = urllib.request.urlopen(url=self.target)
        div_bf = BeautifulSoup(html, from_encoding='utf-8', features='html.parser') ## 明确指定解析器，这里我使用了最好的HTML解析器（“html.parser”）
        div = div_bf.find_all('div', class_='book_list')    ## 寻找存放内容的标签
        a_bf = BeautifulSoup(str(div[0]), features='html.parser')   ## 按照指定格式替换章节内容，运用正则表达式
        a = a_bf.find_all('a')
        self.nums = len(a[0:])
        for i in a[0:]:
            self.names.append(i.string)
            self.urls.append(i.get('href'))   ## 此处用于获取章节链接，以便后面爬取正文

    def get_content(self , target):
        html = urllib.request.urlopen(url=target)
        bf = BeautifulSoup(html, from_encoding='utf-8', features='html.parser')
        texts = bf.find_all('div', id='htmlContent', class_='contentbox clear')[0].getText() ## getText()的作用主要是用来获取标签里面的文本内容，也可用text()
        texts = re.sub('\s+', '\r\n\t', texts).strip('\r\n')
        return texts

    def input_content(self , name , path , text):
        write_flag = True
        with open(path , 'a' , encoding='utf-8') as f:
            f.write(name + '\n')
            f.writelines(text)
            f.write('\n\n')


if __name__ == "__main__":
    dl = downloader()
    dl.get_downloader_url()
    print("牧神记开始下载：")
    for j in range(dl.nums):
        dl.input_content(dl.names[j], "牧神记.txt", dl.get_content(dl.urls[j]))
        sys.stdout.write("已下载 %.2f%%" % float(j / dl.nums*100) + '\n')
        sys.stdout.flush()
    print("牧神记下载完成！")

结语

这是我第一次爬虫尝试，不过阅读小说还是尽量去正版小说网站。