爬虫的第一个小小的成就——《三国演义》

最新推荐文章于 2024-05-07 23:52:06 发布

唐七零

最新推荐文章于 2024-05-07 23:52:06 发布

阅读量143

点赞数

文章标签：爬虫 python 前端

本文链接：https://blog.csdn.net/qq_52428239/article/details/125802218

版权


```python
#coding=utf-8
import lxml
from bs4 import BeautifulSoup
import requests
if __name__ == '__main__':
    url = 'https://so.gushiwen.cn/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
    #爬取整张网页
    response = requests.get(url=url,headers = headers)
    #将爬取的结果用text的方式保存
    page_text = response.text
    #实例化对象
    soup = BeautifulSoup(page_text,'lxml')
    #看源码找到详情页的url所在的标签
    span_list = soup.select('.bookcont > ul > span')
    #创建一个文本文件
    fp = open('sanguo.txt','w',encoding='utf-8')
    #在爬取到的标签中筛选出网页的url并爬取文字
    for span in span_list:
        #获取标题
        title = span.a.string
        #获取链接
        detail_url = span.a['href']
        #get函数获取找到的链接的源码
        content = requests.get(url=detail_url,headers=headers).text
        #实例化对象
        content_soup = BeautifulSoup(content,'lxml')
        #找到源码中的包含章节内容的部分
        div_tag = content_soup.find('div',class_='contson')
        final_content = div_tag.text
        #写入文件
        fp.write(title+final_content+'\n')
        print(title,'下载成功！')