烹饪第一道美丽汤爬爬虾

Function：从百度百科白岩松词条开始，爬取词条页面所有链接，随机进入其中一条转到下一词条，直到词条页面无链转为止

# 加载urllib/BeautifulSoup/re/datetime...模块
from urllib.request import urlopen
from bs4 import BeautifulSoup
from urllib.error import HTTPError
import re
import datetime
import random
import ssl

ssl._create_default_https_context = ssl._create_unverified_context  # 解决访问http网站证书ssl不受信任问题
random.seed(datetime.datetime.now())    # 基于当前时间产生随机种子


def get_links(specific_item):   # 构造链接获取函数
    try:
        page = urlopen('https://baike.baidu.com' + specific_item)   # 访问百度词条
    except HTTPError:
        print('404 not found')  # 抛出异常
    else:
        bsObj = BeautifulSoup(page, 'html.parser')  # 获取BS对象
    return bsObj.findAll('a', href=re.compile('^/item/[%A-Z1-9]*((?![\u4e00-\u9fa5]).)*/*[1-9]*$'))

'''
根据链接共同点，使用正则表达式缩小搜寻范围并排除中文干扰，以防出现编码问题
'''

new_links = get_links('/item/%E7%99%BD%E5%B2%A9%E6%9D%BE')  # 调用链接获取函数
while len(new_links) > 0:   # 当页面存在新链接时
    for new_link in new_links:  # 遍历链接
        if 'href' in new_link.attrs:    # 在链接属性中寻找href
            print(new_link.attrs['href'])   # 获取链接
            print(new_link.get_text())  # 获取链接表名
    new_specific_item = new_links[random.randint(0, len(new_links)-1)].attrs['href']    # 随机选取新链接
    new_links = get_links('{}'.format(new_specific_item))   # 新链接做参调用链接获取函数，{}.format方式处理str无法做参问题

完美RUN：