使用Python的requests和BeautifulSoup库爬取企鹅上的图片

以下是使用Python的requests和BeautifulSoup库编写的一个简单的网络爬虫程序,用于爬取https://im.qq.com/上的图片。
import requests
from bs4 import BeautifulSoup
import os

# 创建一个代理对象
proxy = {
    "http": "http://www.duoip.cn:8000",
    "https": "http://www.duoip.cn:8000"
}

# 创建一个BeautifulSoup对象
soup = BeautifulSoup(requests.get("https://im.qq.com/", proxies=proxy).text, "html.parser")

# 获取所有的图片标签
img_tags = soup.find_all("img")

# 创建一个文件夹用于保存爬取的图片
if not os.path.exists("images"):
    os.makedirs("images")

# 遍历所有的图片标签,下载并保存图片
for img_tag in img_tags:
    img_url = img_tag["src"]
    response = requests.get(img_url, proxies=proxy)
    with open(os.path.join("images", os.path.basename(img_url)), "wb") as f:
        f.write(response.content)
这个程序首先创建了一个代理对象,并使用这个代理对象获取https://im.qq.com/网页的内容。然后,它使用BeautifulSoup解析HTML代码,并获取所有的图片标签。接下来,它创建了一个名为"images"的文件夹,用于保存爬取的图片。最后,它遍历所有的图片标签,下载并保存图片。

注意,这个程序使用了一个免费的代理服务器,但可能无法稳定工作。在实际使用中,可能需要使用更可靠的代理服务器或者直接使用IP代理。此外,这个程序没有处理任何异常,实际使用时可能需要添加异常处理代码。
  • 14
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值