Python3网络爬虫：从索引爬取全部的章节的url,用for循环打印

最新推荐文章于 2024-05-01 08:58:45 发布

ZYD@LHQ

最新推荐文章于 2024-05-01 08:58:45 发布

阅读量2.5k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/weixin_41271101/article/details/90900573

版权

本文介绍如何使用Python3进行网络爬虫，通过for循环遍历并打印出网页中的所有章节链接，详细展示了爬虫实现的代码过程。

摘要由CSDN通过智能技术生成

倚天屠龙记小说列表：URL
https://www.2biqukan.com/fiction/zsczu/contents.html

实现代码

 from urllib import request
    from bs4 import BeautifulSoup
    
if __name__ == "__main__":
    index_url = "https://www.2biqukan.com/fiction/zsczu.html"
    header={
        'User-Agent': 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/'
                      '535.19 (KHTML, like Gecko) Chrome/18.0.1025.166  Safari/535.19'
    }
    #指定url,header生成request
    url_req = request.Request(index_url,headers=header)
    #打开url,并获得请求内容response
    response = request.urlopen(url_req)
    #读取response的内容,用gbk解码,得到html内容
    html = response.read().decode('utf-8', 'ignore')
    #用BeautifulSoup处理得到的网页html
    html_soup = BeautifulSoup(html,'lxml')
    index = BeautifulSoup(str(html_soup.find_all('ul', class_='list-group novel-index ro