刚学习爬虫，总是报错，求救

最新推荐文章于 2024-09-05 10:14:29 发布

lai2265140424

最新推荐文章于 2024-09-05 10:14:29 发布

阅读量193

点赞数

文章标签：爬虫学习 python

本文链接：https://blog.csdn.net/lai2265140424/article/details/129452191

版权

这段代码演示了如何利用Python的requests库获取网页内容，结合lxml的html.etree模块解析HTML，抓取网络小说的标题和正文，并将内容保存到本地。它遍历指定URL范围，提取每一页的小说章节。

摘要由CSDN通过智能技术生成

import requests
from lxml import html
etree=html.etree
#获取小说url
urls=['https://www.ddxs.com/yuzhouzhiyexuanshou/{}.html'.format(i) for i in range(1,31)]
headers={'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36 Edg/110.0.1587.63'}
#设置保存小说的路径
path =r'D:\python爬虫\小说\ '
#获取小说内容并保存
def get_text(url):
    r=requests.get(url,headers=headers)
    r.encoding='utf-8'
    selector=etree.HTML(r.text)
    #获取文章标题
    title=selector.xpath('/html/body/div[5]/div[2]/dl/dd[1]/h1/text()')
    #获取正文内容
    text=selector.xpath('/html/body/div[5]/div[2]/dl/dd[5]/text()')
    with open(path+title[0],'w',encoding='utf-8') as f:
        for i in text:
            f.write(i)


if __name__ == '__main__':
    for url in urls:
        get_text(url)