用python爬取图片(三)

我把那个爬美女网站图片的项目正式改名了,跟那个豆瓣的一样。然后这个项目算是我核心的项目,因为我学python爬虫刚开始就是做的这个。我改进了很多

先放代码

import requests
import os




def get_number():
   global number
   number=input('请输入一个数字:\n')
   try:
      number=int(number)
      
   

   except:     #防止用户输入的不是数字
      print("\n\n您输入有误!请重新输入一个数字!\n")
      get_number()
get_number()


header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
        'Referer':'https://www.mm131.net/xinggan/5222.html'}


localpath=os.getcwd()#原始目录
print("\n原始地址是:"+str(localpath))
   
for i in range(1,number+1):
   url="https://img1.mmmw.net/pic/5222/{}".format(i)+".jpg"
   
   response=requests.get(url=url,headers=header)

   
   
   
   os.chdir(localpath)#目录重定位,不然会乱
   #给定位,然后判断文件夹在不在,若不在则创建
   realpath=os.getcwd()+os.path.sep+str(i)
   if not os.path.exists(realpath):
      os.mkdir(realpath)
      
      print('\n文件夹'+str(i)+'已创建')
   else:
      print('\n文件夹'+str(i)+'已存在')

   
   os.chdir(realpath)
   print("\n当前目录是:"+str(os.getcwd())+"\n")
   with open(str(i)+"张.jpg","wb") as f:
      print("开始下载第"+str(i)+"张")
      f.write(response.content)
      print("第"+str(i)+"张下载完成")
print("结束")


   

我发现自己改进代码的过程就是复习以前学过的,以及获取新的知识。我其实很能理解这句话,我现在能够体会到了,但是我自己内心却不会有很大的波动。
我只是当我看到我想要的东西实现了很开心,但是一直有问题我就会很苦恼,当苦恼越大,开心的程度也会随之越大。
我改了文件的存储,这部分是最大的改动。还有就是这个并不是最后我要的,只是拿来做的实验。 我做了一个全局变量number 然后通过自己给出数字来确定图片的链接。我想做每个图片放在一个单独的文件夹里面,我最后的实现就是把爬下来的每组图片都单独放在一个以他们的编号命名的文件夹里面。 最后因为时间关系,我本来的目标是把图片的链接做成选取,就是用xpath来做选取。

好了,今天就到这里了,今天做了蛮多东西的其实。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值