python爬取小说

焱垚鑫淼森~

于 2024-07-30 10:15:00 发布

阅读量4

点赞数

分类专栏： AI 算法 python自动化 python-AI 文章标签： python 开发语言

原文链接：https://mp.weixin.qq.com/s/RfISiBGh-BPV41YNZfqDzQ

版权

python-AI 同时被 3 个专栏收录

38 篇文章 0 订阅

订阅专栏

AI 算法

6 篇文章 0 订阅

订阅专栏

python自动化

5 篇文章 0 订阅

订阅专栏

requests、lxml 爬取小说

基本思路

主要内容分为三个部分
1. 使用requests模块获取网页内容
2. 使用lxml模块进行网页解析
3. 将解析出来的数据存储进txt文件中（如果是入库就可以存储到数据库）

使用lxml模块进行网页解析

1、获取章节链接

根据html获取章节的链接，很多是网页域名+href

2、获取章节内容

获取章节的标题、内容（content），需要一定的html定位技术能力

实例

import requests
from lxml import etree

filePath = r"C:\Users\wm\Desktop\xs" #本机的桌面路径，r表示原意，多加一个\表示转义

#这个方法下载并提取文字
def download_text(url):
    # 导入包
    reponse = requests.get(url)
    #解码，万能模式
    reponse.encoding = reponse.apparent_encoding
    #解析
    etree_html = etree.HTML(reponse.text)
    # print(etree_html,111111)
    #提取标题//*[@id="book"]/div[2]/h1
    title = etree_html.xpath("//div[@class='content']/h1/text()")
    # print (title,222)
    #提取内容
    content = etree_html.xpath('//*[@id="content"]//text()') #现在还是数组形式，文本，字符串
    text = "".join(content) # 把数组转换为字符串，\r和\n都是换行符
    text= title[0]+'\n' +text+'\n'
    # print(text)
    return text

        
# 取到所有文章的链接        
def get_link(index_url):
    index_html = requests.get(index_url).text 
    # print(index_html)
    index_etree = etree.HTML(index_html)
    # print(index_etree)
    # for i in index_etree:
    #     print(i)
    dd = index_etree.xpath(r'//div/dl/dd')
    # print(dd)
    # print(dd.xpath('./a/@href')[0])
    # print(dd,list(dd))
    link_list = [] # 打包所有的练接
    for item in dd:
        # print(item,111)
        # print(item.xpath('./a/@href')[0])
        href = index_url+item.xpath('./a/@href')[0] #拼接出完整的链接
        link_list.append(href)
    return link_list #返回的东西，我要带走的

if __name__ =='__main__':
    index_url = "https://ww.zhuishuku.com/book/1070884/" #文章首页链接

    links = get_link(index_url)
    # print(links)
    print(filePath + '.txt')

    with open(filePath + '.txt', 'a', encoding='utf-8') as file: #创建并打开一个文件
        for link in links:
            target_url = link
            print ("正在在爬取：", target_url)
            text = download_text(target_url) #带进去的东西
            print(text)
            file.write(text) #放进去内容，写入
            # file.close() # 关闭

# 导入包
import requests
from lxml import etree

filePath = r"C:\Users\asus\元尊\\" #本机的桌面路径，r表示原意，多加一个\表示转义

#这个方法下载并提取文字
def download_text(url):
    # 导入包
    reponse = requests.get(url)
    #解码，万能模式
    reponse.encoding = reponse.apparent_encoding
    #解析
    etree_html = etree.HTML(reponse.text)
    #提取标题
    title = etree_html.xpath('//*[@id="wrapper"]/div[4]/div[2]/h1/text()')
    print (title)
    #提取内容
    content = etree_html.xpath('//*[@id="content"]//text()') #现在还是数组形式，文本，字符串
    text = "".join(content) # 把数组转换为字符串，\r和\n都是换行符
    # 保存到txt文件，放到电脑桌面，绝对路径,r表示原意，\代表转义字符
    with open(filePath + title[0] + '.txt', 'a', encoding='utf-8') as file: #创建并打开一个文件
        file.write(text) #放进去内容，写入
        file.close() # 关闭
        
# 取到所有文章的链接        
def get_link(index_url):
    index_html = requests.get(index_url).text 
    index_etree = etree.HTML(index_html)
    dd = index_etree.xpath('/html/body/div[5]/dl/dd')
    link_list = [] # 打包所有的练接
    for item in dd:
        href = "http://www.shuquge.com/txt/5809/"+item.xpath('./a/@href')[0] #拼接出完整的链接
        link_list.append(href)
    return link_list #返回的东西，我要带走的

if __name__ =='__main__':
    index_url = "http://www.shuquge.com/txt/5809//index.html" #文章首页链接
    links = get_link(index_url)
    for link in links:
        target_url = link
        print ("正在在爬取：", target_url)
        download_text(target_url) #带进去的东西

爬取小说有繁体字解决

zhconv安装

pip install zhconv

使用方法

Help on function convert in module zhconv.zhconv:

convert(s, locale, update=None)
    Main convert function.
    
    :param s: must be `unicode` (Python 2) or `str` (Python 3).
    :param locale: should be one of ``('zh-hans', 'zh-hant', 'zh-cn', 'zh-sg'
                               'zh-tw', 'zh-hk', 'zh-my', 'zh-mo')``.
    	zhconv支持以下地区词的转换：
      zh-cn 大陆简体
      zh-sg 马新简体（马来西亚和新加坡使用的简体汉字）
      zh-tw 台灣正體（台湾正体）
      zh-hk 香港繁體（香港繁体）
      zh-hans 简体
      zh-hant 繁體（繁体）
    :param update: a dict which updates the conversion table, eg.
        ``{'from1': 'to1', 'from2': 'to2'}``
    
    >>> print(convert('我幹什麼不干你事。', 'zh-cn'))
    我干什么不干你事。
    >>> print(convert('我幹什麼不干你事。', 'zh-cn', {'不干': '不幹'}))
    我干什么不幹你事。
    >>> print(convert('人体内存在很多微生物', 'zh-tw'))
    人體內存在很多微生物

实例

import zhconv
# 简繁体转换
s = '朝斗坛前山月幽，师雄有梦生清愁。何时杖尔看南雪，我与梅花两白头。'
s1 = zhconv.convert(s, 'zh-hant')
s2 = zhconv.convert(s, 'zh-tw')
s3 = zhconv.convert(s, 'zh-hk')
print('转化为繁体结果：', s1)
print('转化为台湾正体结果：', s2)
print('转化为香港繁体结果：', s3)