python的request库使用

最新推荐文章于 2024-05-03 11:07:56 发布

noobmantest

最新推荐文章于 2024-05-03 11:07:56 发布

阅读量329

点赞数

分类专栏：工具分享文章标签： python 开发语言 numpy

本文链接：https://blog.csdn.net/weixin_43960044/article/details/119964344

版权

工具分享专栏收录该内容

5 篇文章 0 订阅

订阅专栏

python的request库使用

get方法：发送请求获取相应数据
response.content.decode() 对获取数据进行解码

import requests

# 发送请求获取相应数据
response = requests.get("http://www.baidu.com")
print(response)  # 输出请求结果，<Response [200]>
# 获取返回数据
print(response.encoding)  # 返回默认编码格式 ISO-8859-1
response.encoding = 'utf8'  # 修改编码格式
print(response.text)

print(response.content)  # 获取二进制数据
print(response.content.decode())  # 对二进制数据进行解码，默认解码方式为utf8
# print(response.content.decode(encoding='gbk'))  # 也可以传入编码方式进行解码

python的Beatuiful Soup4 使用

BeautifulSoup(‘数据’, ‘lxml’) ：创建对象解析HTML文本
find方法：查找元素返回第一个查找到的元素，find_all方法类似查询所有

1、根据标签进行查找 name=‘input’
2、根据id进行查找 id = ‘xxx’
3、根据属性进行查找 attrs={‘type’: ‘submit’, ‘name’: ‘smbtn’}
4、根据文本进行查找，返回文本内容 text=‘用户号’，此时返回的是NavigableString格式，其他返回的都是Tag对象

Tag对象方法 .name .attrs .text 返回标签名、属性、文本内容

# Beatuiful Soup4 安装命令 -- pip install bs4
# 会同时安装bs4和beautifulsoup4
# 主要用于解析文档树，与lxml配合使用 pip install lxml

import requests
from bs4 import BeautifulSoup

# 创建BeautifulSoup对象，传入字符串数据和要用的解析器lxml，不用解析器会有警告，会自动修正
soup = BeautifulSoup('<html>数据</html>', 'lxml')
print(soup)

# 获取连接返回值
response = requests.get("https://jksb.v.zzu.edu.cn/vls6sss/zzujksb.dll/first0")

# 获取html文本
# print(response.content.decode())
html_text = response.content.decode()

# 创建BeautifulSoup对象解析html文本
soup = BeautifulSoup(html_text, 'lxml')

# 1、根据标签进行查找 name='input'
# 2、根据id进行查找 id = 'xxx'
# 3、根据属性进行查找 attrs={'type': 'submit', 'name': 'smbtn'}
# 4、根据文本进行查找，返回文本内容 text='用户号'，此时返回的是NavigableString格式，其他返回的都是Tag对象

# 查询标签名为title的元素
title = soup.find('title')
print(title)

# 查询所有input标签
input_all = soup.find_all(name='input')
print(input_all)

# attrs 方式，查询属性名 例如{'id':'uid','class':'xxx'}，找不到返回None
input_uid = soup.find(attrs={'name': 'uid', 'tabindex': '0'})
print(input_uid)
input_uid = soup.find(attrs={'type': 'submit', 'name': 'uid'})
print(input_uid)

# text方式
text = soup.find(text='用户号')
print(text)
print(type(text))

# Tag对象使用
input_uid = soup.find(attrs={'type': 'submit'})
print('标签名：', input_uid.name)
print('属性：', input_uid.attrs)
print('内容：', input_uid.text)

noobmantest

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
python的request库使用

python的request库使用get方法：发送请求获取相应数据response.content.decode() 对获取数据进行解码import requests# 发送请求获取相应数据response = requests.get("http://www.baidu.com")print(response) # 输出请求结果，<Response [200]># 获取返回数据print(response.encoding) # 返回默认编码格式 ISO-8859-1
复制链接

扫一扫