网页数据解析

11.11.1

于 2024-07-11 09:28:37 发布

阅读量115

点赞数 4

分类专栏： python程序设计文章标签： python

本文链接：https://blog.csdn.net/m0_55885128/article/details/140342192

版权

python程序设计专栏收录该内容

20 篇文章 0 订阅

订阅专栏

第1关 XPath解析网页

import urllib.request

from lxml import etree

def get_data(url):
    '''
    :param url: 请求地址
    :return: None
    '''
    response=urllib.request.urlopen(url=url)
    html=response.read().decode("utf-8")
    # *************** Begin *************** #
    url = 'http://127.0.0.1:8080/'
    parse = etree.HTML(html)
    item_list = parse.xpath("//div[@class='left']/ul/li/span/a/text()")
    # *************** End ***************** #
    print(item_list)

第2关 BeautifulSoup解析网页

import requests
from bs4 import BeautifulSoup

def get_data(url, headers):
    '''
    两个参数
    :param url:统一资源定位符,请求网址
    :param headers:请求头
    :return data:list类型的所有古诗内容
    '''
    # ***************** Begin ******************** #
    # ***************** Begin ******************** #
    text=requests.get(url,headers)
    text.encoding='utf-8'
    soup=BeautifulSoup(text.text,'lxml')
    soup.prettify
    divs=soup.find("div",class_='left').ul.find_all("li")
    list=[]
    for i in divs:
        a=i.p.text
        list.append(a)
    data=list
    return data
    # ****************** end ********************* #
    return data