简单的小例子
import requests
from bs4 import BeautifulSoup
'''
1.确定想要爬取的网址信息
2.设置请求头信息
3.发送请求返回响应
4.将请求中的html文档给Beautifulsoup
5.通过Beautifulsoup对象对html进行遍历获取信息
'''
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0",
"accept-language":"zh-CN,zh;q=0.8"
}
url="https://www.taobao.com"
html=requests.get(url,header)
soup=BeautifulSoup(html.text,'lxml')
print(soup.prettify()) #格式化打印html文档
print(soup.title) #打印title
print(soup.title.string) #打印title标签下的内容
print(soup.p) #打印第一个p标签
print(soup.p['class']) #打印p的class
print(soup.p.name) #打印p的标签名称 就是 p
print(soup.head.contents)
for s in soup.head.contents: #打印<head>标签下的所有内容 每一个标签是列表的一个元素
print(s)
print(type(soup.head.contents)) #打印数据类型
print((soup.body.contents)) #打印数据类型
for s in soup.body.contents: #打印<body>标签下的所有内容 每一个标签是列表的一个元素
print(s)
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
