Python是一种流行的编程语言,可以用来编写爬虫。爬虫是一种自动获取网络信息的程序,常用于抓取网页内容。
下面是一个简单的Python爬虫代码示例,它使用了第三方库requests
和BeautifulSoup
来发送HTTP请求并解析HTML网页:
import requests
from bs4 import BeautifulSoup
def crawl(url):
# 发送HTTP请求并获取响应
response = requests.get(url)
# 将响应的HTML内容解析成BeautifulSoup对象