【爬虫】-【爬取某计算机教程网站的资源链接】

安装包

# 用于爬取网页页面数据
pip install requests
# 用于解析网页的数据
pip install beautifulsoup4

代码

# 导包
import requests
from bs4 import BeautifulSoup


# 爬取网址的链接
url = 'https://www.runoob.com/'
# 获取网页文档
req = requests.get(url=url)
# 解析网页文档
soup = BeautifulSoup(req.text)
# 找到包含资源链接的标签
data = soup.find('div', attrs={
    'class': 'col middle-column-home'
})
data = data.find_all('a')

# 存储数据文件名称
name = "python-spider.csv"
fw = open(name, 'w', encoding='utf-8-sig')
fw.write("学习资源名称，资源链接\n")

# 写入数据
for i in data:
    fw.write(i.h4.text + "," + i['href'] + "\n")

fw.close()
print("爬取数据成功")

截图

爬取到的网页

进行数据处理后的

保存后的数据