python 爬网站 下载图片

今天看了一个爬虫。感觉(python)基础真的很重要,  知道是这样做,但不知道为什么,就是人生一大悲哀。真的。。。
然后就试着爬了一下网页的链接,把图片的链接都爬下来了。就想能不能用这个链接直接把图片下载呢。

就这样,在原来获得链接的基础上加上两行搞定了。(不算命名的)
看一下,过程(python真的最好入门),因为python运行就比较慢,它也不是下载一个就出来一个,要等一下。

from bs4 import BeautifulSoup
import requests
url = 'https://pixabay.com/zh/'
req = requests.get(url)              #根据网址获取信息。返回是200,就是返回成功,想要看类似与全部代码的信息,只需要打印req.text
req.encoding = 'utf-8'               #看一下会不会有乱码。有的话改成utf-8

beautiful = BeautifulSoup(req.text,'html.parser') #这里就是你获取内部代码信息的

num = 1 #为了给图片命名做铺垫
for i in beautiful.select('img'): # 在代码中找属性为img的
    if i['src'][0] is 'h': # 做一下过滤,把src中第一个字母为h的留下,就是链接了(http://...),有的不是,执行后面容易报错。
        r = requests.get(i['src']) # 得到过滤后的链接
        num += 1
        with open(str(num) + '.jpg','wb') as f: #剩下的就是下载了
         f.write(r.content)

现在执行肯定可以得到图片的。可能你看的时候,网址换了,自己换一下就行了。下面的代码是在网上收集的关于下载的代码。我只试了第三种。里面刚开始也爆错。要写的严谨一点啊。剩下的两个也自己看看吧。我还没有试,我去吃饭了。(wget,我只在控制台用过,但这里我试了没有成功就不写了。)

# Python 2 code
import urllib
import urllib2
import requests

url = 'http://192.168.1.100/test.zip'

print("downloading with urllib")
urllib.urlretrieve(url, "code.zip")

print("downloading with urllib2")
f = urllib2.urlopen(url)
data = f.read()
with open("code2.zip", "wb") as code:
    code.write(data)

print("downloading with requests")
r = requests.get(url)
with open("code3.zip", "wb") as code:
    code.write(r.content)


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值