requests方法爬取:
import requests
from bs4 import BeautifulSoup
url = "网址"
hd = {
"user-agent": "请求头。在网页右键查看网络,随便点开一个最下面是请求头"
}
r = requests.get(url, headers=hd)
r.encoding = 'gb2312' # 编码
# 使用BeautifulSoup解析响应的文本内容
s = BeautifulSoup(r.text, "html.parser")
# 使用CSS选择器定位到网页中指定元素(以列表形式返回所有匹配结果)
# 选上指定元素右键复制selector
# [0].get_text()爬取文字,[0].get("href")爬取链接,[0].get("src")爬取图片
q = s.select('网页中指定元素')[0].get_text()
# 输出爬取内容
print(q)
xpath方法爬取:
from lxml import etree
import requests
url = "链接地址"
r = requests.get(url)
# 使用etree解析网页内容
tree = etree.HTML(r.text)
# 使用XPath定位到指定的div元素列表
# 复制完整的xpath
div_list = tree.xpath("# 复制完整的xpath")
print(div_list)