python爬虫，requests方法和xpath方法

requests方法爬取：

import requests
from bs4 import BeautifulSoup


url = "网址"

hd = {
    "user-agent": "请求头。在网页右键查看网络，随便点开一个最下面是请求头"
}
r = requests.get(url, headers=hd)

r.encoding = 'gb2312' # 编码

# 使用BeautifulSoup解析响应的文本内容
s = BeautifulSoup(r.text, "html.parser")

# 使用CSS选择器定位到网页中指定元素（以列表形式返回所有匹配结果）
# 选上指定元素右键复制selector
# [0].get_text()爬取文字，[0].get("href")爬取链接，[0].get("src")爬取图片
q = s.select('网页中指定元素')[0].get_text()

# 输出爬取内容
print(q)

xpath方法爬取：

from lxml import etree
import requests

url = "链接地址"

r = requests.get(url)

# 使用etree解析网页内容
tree = etree.HTML(r.text)

# 使用XPath定位到指定的div元素列表
# 复制完整的xpath
div_list = tree.xpath("# 复制完整的xpath")

print(div_list)