用python爬虫爬图片代码_用python爬虫爬取壁纸图片（入门级代码）

我刚接触python爬虫，正想要一个练手项目，所以选择从爬取静态页面开始，开启我的爬虫之旅

本次要爬取的网站是：

先上代码:

import requests

from bs4 import BeautifulSoup

import os

import re

​

​

def getHtmlurl(url):

try:

r = requests.get(url)

r.raise_for_status()

# 有效的判断网络连接的状态。如果网连接出现错误，那么它就会用try-except来获取一个异常。

r.encoding = r.apparent_encoding

# 设置编码格式为 从内容中分析出的相应内容编码方式

return r.text

except:

return "出现异常"

​

​

def getimgurl(img):

href = img['href']

url = "http://www.netbian.com" + href

htm = getHtmlurl(url)

soup = BeautifulSoup(htm, 'html.parser')

# htm 表示被解析的html格式的内容

# html.parser表示解析用的解析器

return soup

​

​

def getpic(html):

soup = BeautifulSoup(html, 'html.parser')

all_img = soup.find('div', class_='list').find('ul').find_all("a", attrs={'href': re.compile('^((?!http).)*$'),

'target': '_blank'})

​

for img in all_img:

title = img['title']

if title.find(u"女") != -1:

# 你可以自定义规则来筛选你想要的壁纸

print("不符合要求，跳过")

continue

​

soup1 = getimgurl(img)

im1 = soup1.find('div', id='main').find('div', class_='endpage').find('p').find('img')

​

img_url = im1['src']

print(img_url)

​

root = 'D:/pictest2/'

# 这是你要保存图片的位置

t = title.split()

# 将图片title按空格分开，取第一个空格前的字符作为图片名，这个你可以自己调整

path = root + t[0] + '.jpg'

​

try:

if not os.path.exists(root):

os.mkdir(root)

if not os.path.exists(path):

r = requests.get(img_url)

with open(path, 'wb') as f:

f.write(r.content)

f.close()

print('文件保存成功')

else:

print('文件已存在')

except Exception as e:

print(str(e))

print('爬取失败')

​

​

def getNextpage(html):

soup = BeautifulSoup(html, 'html.parser')

nextpage = soup.find('div', class_='list').find('ul').find('li', class_='nextpage').find('a')

href = nextpage['href']

url = "http://www.netbian.com" + href

return url

​

​

def main():

url = 'http://www.netbian.com/weimei/index.htm'

for i in range(1, 10):

html = getHtmlurl(url)

print(str(i) + " : ")

getpic(html)

url = getNextpage(html)

​

​

if __name__ == '__main__':

main()

​

☞现在我们来分析一下爬取壁纸的步骤：

从做事步骤来看

查看网页的源代码，挖掘其特征，找出自己要爬取的部分，对于我们的壁纸爬取，找到的就是图片的网址下载该网址的图片到本地文件中

从编写代码来看

得到网页全部源代码从源代码中找到自己要的部分，并想法将它提取出来

将图片下载到本地

☞知道我们的目的和思路后，我们来编写代码

我们要先得到网页的全部源代码,这里需要用到我们的requests库

def getHtmlurl(url):

try:

r = requests.get(url)

r.raise_for_status()

# 有效的判断网络连接的状态。如果网连接出现错误，那么它就会用try-except来获取一个异常。

r.encoding = r.apparent_encoding

# 设置编码格式为 从内容中分析出的相应内容编码方式

return r.text

except:

return "出现异常"

其中requests.get(url)得到的就是网页代码的全部内容，如下截图：

在代码中我们所要的就是图片的网址

我们观察这些代码，发现图片都在这里面

不过要注意，网站下拉最后一个不是图片，而是下一页的网址

所以我们在提取的时候要把这最后一个给过滤出去，观察它们标签的不同，可以看出它们有一个显著的区别，就是一个有target标签，一个没有

所以我们可以这样过滤：

all_img = soup.find('div', class_='list').find('ul').find_all("a", attrs={'target': '_blank'})

这里还有一个要过滤的，如下所示，他点开展示的是另外一组图片

比较它们的区别，可以看到它们的href一个里面包括http,一个不包括，所以我们可以这样过滤

soup = BeautifulSoup(html, 'html.parser')

all_img = soup.find('div', class_='list').find('ul').find_all("a", attrs={'href': re.compile('^((?!http).)*$'),'target': '_blank'})

这样我们就得到了我们想要的部分，不过事情没有那么简单，如果我们点开img标签里的网址，我们得到的并不是一个高清大图，于是我们继续深入内里

进入标签中的网址，或者直接点击图片，然后我们研究一下跳转后的页面的源代码

现在我们要得到这个img标签里的网址，还是用我们的BeautifulSoup:

soup1 = 通过前一个网页的a标签里的地址得到这个跳转后网页的全部代码

im1 = soup1.find('div', id='main').find('div', class_='endpage').find('p').find('img')

从上面这代码中，我们看出，我们需要通过上一个网页中的a标签来得到这个跳转后的页面的网址，从而通过BeautifulSoup得到这个页面的全部内容，这里我定义了一个方法，传入参数为上一个页面标签里的内容

def getimgurl(img):

href = img['href']

# 这里我们需要拼一下串，因为a标签里的网址不是完整的

url = "http://www.netbian.com" + href

htm = getHtmlurl(url)

soup = BeautifulSoup(htm, 'html.parser')

# htm 表示被解析的html格式的内容

# html.parser表示解析用的解析器

return soup

现在，我们已经离成功不远了，我们得到了图片的网址，现在只要下载下来保存到本地即可

title = img['title']

root = 'D:/pictest/'

# 这是你要保存图片的位置

t = title.split()

# 将图片title按空格分开，取第一个空格前的字符作为图片名，这个你可以自己调整

path = root + t[0] + '.jpg'

​

try:

if not os.path.exists(root):

os.mkdir(root)

if not os.path.exists(path):

r = requests.get(img_url)

with open(path, 'wb') as f:

f.write(r.content)

f.close()

print('文件保存成功')

else:

print('文件已存在')

except Exception as e:

print(str(e))

print('爬取失败')

这样我们的入门级爬虫就完成啦，根据个人爱好，你还可以进行壁纸的筛选，譬如我不要美女的壁纸，那我可以这样做

if title.find(u"女") != -1:

# 你可以自定义规则来筛选你想要的壁纸

print("不符合要求，跳过")

continue

听完解释后，再去看一遍源码吧，相信你就有自己打出来的能力了!!!(其中的getNextpage方法的作用是得到下一页的网址，相信你们自己已经可以看懂啦)

最终结果如下：