python学习之使用bs4来爬取诗词网站当中的三国演义全书内容

# 功能：爬取对诗词网站当中三国演义的所有章节
# 开发时间： 2020/10/28  22:10
import requests
from bs4 import BeautifulSoup
import time
if __name__ == '__main__':
    #对首页页面当中的源码进行爬取操作
    url='https://www.shicimingju.com/book/sanguoyanyi.html'
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/85.0.564.63'}
    page_text=requests.get(url,headers).text#获取服务器对象的响应数据源代码
    #解析出当前页面当中的标题和章节
    #1.实例化beautiful shup 实例对象并将响应到的HTML源码加载到当前对象当中去
    soup=BeautifulSoup(page_text,'lxml')
    #2.对章节标题进行获取,下面注释当中为章节标题所对应的源码所在的位置
    '''
        <div class="book-mulu">
    <ul>
        <li><a href="/book/sanguoyanyi/1.html">第一回·宴桃园豪杰三结义 斩黄巾英雄首立功</a></li>
        <li><a href="/book/sanguoyanyi/2.html">第二回·张翼德怒鞭督邮 何国舅谋诛宦竖</a></li>
        <li><a href="/book/sanguoyanyi/3.html">第三回·议温明董卓叱丁原 馈金珠李肃说吕布</a>
        <li><a href="/book/sanguoyanyi/118.html">第一百一十八回·哭祖庙一王死孝 入西川二士争功</a></li>
        <li><a href="/book/sanguoyanyi/119.html">第一百一十九回·假投降巧计成虚话 再受禅依样画葫芦</a></li>
        <li><a href="/book/sanguoyanyi/120.html">第一百二十回·荐杜预老将献新谋 降孙皓三分归一统</a></li>
    </ul>
</div>
    '''
    #通过层级选择器对象来遍历到所有的li标签对象,获取到所有的li标签对象集合
    li_list=soup.select('.book-mulu ul li')
    #创建一个文件对象用于实现对所爬取到的章节内容进行存放
    fp=open('sanguo.txt','w',encoding='utf-8')
    #对li标签集合对象当中的所有标签进行遍历
    for li in li_list:
        title=li.a.string#遍历li标签当中子标签对象a,然后获取a标签对象当中的文本值内容
        print(title)
        detail_url='https://www.shicimingju.com'+li.a['href']#获取当前章节所对应的超链接
        #对当前章节的详情页发起请求来获取对应的源码页面
        '''
            此处遇到的一个问题是加载大概十几章之后就不报错误失去服务器连接
            插入网线重新运行程序之后发现没有再出现这种状况所以可能会与网络连接的稳定性有关系
            也可以试试time.sleep 或者刷新内存试试，以防止一次性内存当中加载了太多的章节内容
            而没有进行输出导致内存溢出卡死
        '''
        detail_page_text= requests.get(detail_url,headers).text
        #对当前所爬取到的详情页面对象进行内容解析
        detail_soup=BeautifulSoup(detail_page_text,'lxml')
        #找到正文内容所在的标签对象
        detail_flag=detail_soup.find('div',class_='chapter_content')
        #从正文标签对象当中所有子标签当中的文本内容
        content=detail_flag.get_text()
        fp.write(title+':'+content+'\n')

不要太频繁的爬取该网站当中的内容，访问次数太多会被认为是攻击行为，网站会封掉当前ip的访问权