安装包
# 用于爬取网页页面数据
pip install requests
# 用于解析网页的数据
pip install beautifulsoup4
代码
# 导包
import requests
from bs4 import BeautifulSoup
# 爬取网址的链接
url = 'https://www.runoob.com/'
# 获取网页文档
req = requests.get(url=url)
# 解析网页文档
soup = BeautifulSoup(req.text)
# 找到包含资源链接的标签
data = soup.find('div', attrs={
'class': 'col middle-column-home'
})
data = data.find_all('a')
# 存储数据文件名称
name = "python-spider.csv"
fw = open(name, 'w', encoding='utf-8-sig')
fw.write("学习资源名称,资源链接\n")
# 写入数据
for i in data:
fw.write(i.h4.text + "," + i['href'] + "\n")
fw.close()
print("爬取数据成功")
截图
爬取到的网页
进行数据处理后的
保存后的数据