以下是使用Python的requests和BeautifulSoup库编写的一个简单的网络爬虫程序,用于爬取https://im.qq.com/上的图片。
import requests
from bs4 import BeautifulSoup
import os
# 创建一个代理对象
proxy = {
"http": "http://www.duoip.cn:8000",
"https": "http://www.duoip.cn:8000"
}
# 创建一个BeautifulSoup对象
soup = BeautifulSoup(requests.get("https://im.qq.com/", proxies=proxy).text, "html.parser")
# 获取所有的图片标签
img_tags = soup.find_all("img")
# 创建一个文件夹用于保存爬取的图片
if not os.path.exists("images"):
os.makedirs("images")
# 遍历所有的图片标签,下载并保存图片
for img_tag in img_tags:
img_url = img_tag["src"]
response = requests.get(img_url, proxies=proxy)
with open(os.path.join("images", os.path.basename(img_url)), "wb") as f:
f.write(response.content)
这个程序首先创建了一个代理对象,并使用这个代理对象获取https://im.qq.com/网页的内容。然后,它使用BeautifulSoup解析HTML代码,并获取所有的图片标签。接下来,它创建了一个名为"images"的文件夹,用于保存爬取的图片。最后,它遍历所有的图片标签,下载并保存图片。
注意,这个程序使用了一个免费的代理服务器,但可能无法稳定工作。在实际使用中,可能需要使用更可靠的代理服务器或者直接使用IP代理。此外,这个程序没有处理任何异常,实际使用时可能需要添加异常处理代码。