Python抓取网络小说电子书

抓取内容为《哈利波特与凤凰社》，共38章，生成txt文件保存在当前文件夹下。 

import requests
from bs4 import BeautifulSoup
import re
import time

class downloader(object):

    def __init__(self):
        self.server = 'https://www.cz2che.com'
        self.target = 'https://www.cz2che.com/0/664/'
        self.names = []       #存放章节名
        self.urls = []        #存放章节链接
        self.nums = 0         #章节数

    def writer(self, name, path, text):
        write_flag = True
        with open(path, 'a', encoding = 'utf-8') as f:
            f.write(name + '\n')
            f.writelines(text)
            f.write('\n\n')

    def geturl(self):
        strhtml = requests.get(url = self.target)
        #由于编码格式原因，防止抓取乱码，utf8编码的文本可以用iso8859-1的编码表示
        #，但是反过来不行。iso8859-1是单字节编码，而utf8是定长编码
        i = strhtml.text.encode('iso-8859-1')
        soup = BeautifulSoup(i,'lxml')
        data = soup.select('body > div.container > div:nth-child(5) > div > div > div.panel-body > ul > li')
        #print(data)
        self.nums = len(data)
        for item in data:
            self.names.append(item.get_text())
            # print(item.get('href'))
            # print(type(item.get('href')))
            # print(str(item.get('href')))
            self.urls.append(self.server + item.a.get('href'))


    def getcontent(self,target):
        url = requests.get(url = target)
        html = url.text.encode('iso-8859-1')
        #lxml是beautiful一种编码方式
        bs = BeautifulSoup(html, 'lxml')
        #在开发者工具中找到对应元素，右键copy selector path
        content = bs.select('body > div.container > div:nth-child(3) > div > div.panel.panel-default > div.panel-body.content-body.content-ext > p')
        content = str(content[0])
        content = content.replace('<p>', '')
        content = content.replace('</p>', '')
        content = content.replace('<br/>', '')
        return content


if __name__ == "__main__":
    dl = downloader()
    dl.geturl()

    for i in range(26,dl.nums):
        print(i)
        time.sleep(20)
        dl.writer(dl.names[i], '哈利波特与凤凰社.txt', dl.getcontent(dl.urls[i]))
    print('下载完毕')

request抓取网页内容，BeautifulSoup进行数据清理。

抓取的文章格式稍微有些混乱，进行重排。

import os
import sys

#打开文件，读入每一行
f = open('D:\\Desktop\\哈利波特与凤凰社.txt', encoding = 'utf-8') 
lines = f.readlines()
#print(lines)
#打开你要写入文件
fp = open('D:\\Desktop\\哈利波特与凤凰社new.txt','w') 

for s in lines:
    line = filter(lambda ch: ch not in '\t',s)
    line = list(line)
    if line != ['\n']:
        str2 = ''.join(line)
        fp.write(str2)
        #fp.write(s.replace(' ','')) # replace是替换，write是写入
        fp.write('\n')
fp.close() # 关闭文件

print('处理完成')

fliter为过滤器，包含两个参量：过滤函数及可迭代对象。

lambda为一种函数定义方式。

\t表示删除所有制表符。原文中还有超长空格，可以从txt中复制拷贝过来，直接打空格无法识别（可能是编码方式不同）。

删除多余空行，并未每一后增加空行。