现代社会,掌握数据就掌握了一切,在大数据时代下,爬虫的重要性可想而知。
以下是一个简单的Python代码示例,可以从大量网页中爬取数据:
import requests
from bs4 import BeautifulSoup
# 定义要爬取的网页URL
url = 'https://www.example.com/page1'
# 发送HTTP请求获取网页内容
response = requests.get(url)
# 使用BeautifulSoup解析网页内容并查找需要的数据
soup = BeautifulSoup(response.content, 'html.parser')
data = soup.find_all('div', class_='data')
# 输出结果
print(data)
这个代码使用requests库发送HTTP请求获取网页内容,使用BeautifulSoup库解析网页内容,并从中查找需要的数据。要爬取多个网页,可以将代码放入循环中,依次爬取每个网页的数据。