我把那个爬美女网站图片的项目正式改名了,跟那个豆瓣的一样。然后这个项目算是我核心的项目,因为我学python爬虫刚开始就是做的这个。我改进了很多
先放代码
import requests
import os
def get_number():
global number
number=input('请输入一个数字:\n')
try:
number=int(number)
except: #防止用户输入的不是数字
print("\n\n您输入有误!请重新输入一个数字!\n")
get_number()
get_number()
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36',
'Referer':'https://www.mm131.net/xinggan/5222.html'}
localpath=os.getcwd()#原始目录
print("\n原始地址是:"+str(localpath))
for i in range(1,number+1):
url="https://img1.mmmw.net/pic/5222/{}".format(i)+".jpg"
response=requests.get(url=url,headers=header)
os.chdir(localpath)#目录重定位,不然会乱
#给定位,然后判断文件夹在不在,若不在则创建
realpath=os.getcwd()+os.path.sep+str(i)
if not os.path.exists(realpath):
os.mkdir(realpath)
print('\n文件夹'+str(i)+'已创建')
else:
print('\n文件夹'+str(i)+'已存在')
os.chdir(realpath)
print("\n当前目录是:"+str(os.getcwd())+"\n")
with open(str(i)+"张.jpg","wb") as f:
print("开始下载第"+str(i)+"张")
f.write(response.content)
print("第"+str(i)+"张下载完成")
print("结束")
我发现自己改进代码的过程就是复习以前学过的,以及获取新的知识。我其实很能理解这句话,我现在能够体会到了,但是我自己内心却不会有很大的波动。
我只是当我看到我想要的东西实现了很开心,但是一直有问题我就会很苦恼,当苦恼越大,开心的程度也会随之越大。
我改了文件的存储,这部分是最大的改动。还有就是这个并不是最后我要的,只是拿来做的实验。 我做了一个全局变量number 然后通过自己给出数字来确定图片的链接。我想做每个图片放在一个单独的文件夹里面,我最后的实现就是把爬下来的每组图片都单独放在一个以他们的编号命名的文件夹里面。 最后因为时间关系,我本来的目标是把图片的链接做成选取,就是用xpath来做选取。
好了,今天就到这里了,今天做了蛮多东西的其实。