图片下载

图片地址获取

1 打开所要下载的图片的网页。
2 点击鼠标右键,选择“inspect”审查元素。
3 然后选择图片对应的html代码部分,双击复制图片链接。
4 将复制的链接填写到python代码中url地址处。

url下载单幅图片代码

首先需要下载urllib并导入模块。

import urllib.request
def download():
    req = urllib.request.urlopen('http://f.hiphotos.baidu.com/zhidao/pic/item/86d6277f9e2f0708956f46f0eb24b899a801f2dc.jpg')
    img_content = req.read()
    with open('01.jpg','wb') as f:
        f.write(img_content)
download()

url批量下载图片代码

需要用到协程模块,协程下载图片。
首先下载协程模块gevent,并将该模块和url模块导入。

import urllib.request #导入网络下载模块
import gevent #导入协程模块
from  gevent import  monkey

def download(img_name,img_url):
    req = urllib.request.urlopen(img_url)
    img_content = req.read()
    with open(img_name,'wb') as f:
        f.write(img_content)

def main():
    gevent
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy是一个强大的Python爬虫框架,可以用于抓取网页数据。在Scrapy中,可以使用自定义的Pipeline来实现图片下载功能。 首先,你需要在Scrapy项目中创建一个自定义的Pipeline来处理图片下载。在该Pipeline中,你可以使用Python的requests库或者Scrapy提供的内置函数来下载图片。 以下是一个简单的示例代码,展示了如何在Scrapy中实现图片下载功能: ```python import scrapy from scrapy.pipelines.images import ImagesPipeline class MyImagesPipeline(ImagesPipeline): def get_media_requests(self, item, info): for image_url in item['image_urls']: yield scrapy.Request(image_url) def file_path(self, request, response=None, info=None): # 自定义图片保存路径 image_guid = request.url.split('/')[-1] return 'images/%s' % (image_guid) ``` 在上述代码中,`get_media_requests`方法用于获取要下载的图片URL,并通过`yield`关键字将其传递给Scrapy引擎进行下载。`file_path`方法用于指定图片保存的路径。 接下来,在你的Scrapy项目的settings.py文件中,将自定义的Pipeline添加到ITEM_PIPELINES配置项中: ```python ITEM_PIPELINES = { 'your_project_name.pipelines.MyImagesPipeline': 1, # 其他的Pipeline... } ``` 最后,在你的Spider中,将需要下载图片的URL添加到item中,并在item中定义一个字段来存储这些URL: ```python import scrapy class MySpider(scrapy.Spider): name = 'my_spider' def start_requests(self): # 构造请求并发送给Scrapy引擎 yield scrapy.Request(url='http://example.com', callback=self.parse) def parse(self, response): # 解析网页内容,提取图片URL并存储到item中 item = {} item['image_urls'] = response.css('img::attr(src)').getall() yield item ``` 在上述代码中,`parse`方法中使用了CSS选择器来提取网页中的图片URL,并将其存储到item的`image_urls`字段中。 这样,当你运行Scrapy爬虫时,图片将会被下载并保存到指定的路径中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值