请求服务器和解析数据几种实现方式

最新推荐文章于 2024-07-30 17:35:21 发布

悟道行僧

最新推荐文章于 2024-07-30 17:35:21 发布

阅读量292

点赞数

本文链接：https://blog.csdn.net/logan2015/article/details/118045945

版权

python 专栏收录该内容

11 篇文章 1 订阅

订阅专栏

方法一: requests.get() 和 BeautifulSoup（）方法请求服务器和解析数据

#引包
import requests
from bs4 import BeautifulSoup

# 输入网站URL
url = "https://www.yestone.com"
# 模拟浏览器配置
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36"}
# 请求服务器
r = requests.get(url, headers=headers)
print(r)  # 输出： <Response [200]>

# 【2.解析页面】


# 解析获取当前网页所有内容
obj = BeautifulSoup(r.content, 'html.parser')
print(obj)  # 输出：对象类型，是当前页面的html全部代码

方法二: urlopen() 和 BeautifulSoup（）方法请求服务器和解析数据

# 请求获取HTML所有网页内容
from urllib.request import urlopen
# 导入BeautifulSoup
from bs4 import BeautifulSoup as bf
html = urlopen("https://www.9turi.com/")  # 输出：<http.client.HTTPResponse object at 0x000001E54CC2E748>

# 用BeautifulSoup读取html所有网页内容
obj = bf(html.read(), 'html.parser')

print(obj)  # 输出：对象类型，是当前页面的html全部代码