头歌Beautifulsoup解析网页

许晨梦

已于 2022-04-27 13:33:01 修改

阅读量5.6k

点赞数 11

文章标签： python

于 2022-04-27 13:28:57 首次发布

原文链接：https://blog.csdn.net/Junds0/article/details/123299456

版权

import requests
from bs4 import BeautifulSoup
def get_data(url, headers):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return data:list类型的所有古诗内容
    '''
    # ***************** Begin ******************** #
    response = requests.get(url, headers=headers)  
    response.encoding = "utf-8"  
    html = response.text  
    soup = BeautifulSoup(html, 'lxml')  
    data = soup.find('div', {'class': 'left'}).ul.find_all('li')  
    data = [i.p.text for i in data]
    # ****************** end ********************* #
    return data