爬虫实战(一)零基础应该也能看懂 爬取斗图啦上的图片爬取

爬虫(模仿博客上的内容:换一个网站进行操作)
爬取网站上的图片
1.搞清思路
想要下载图片就要搞清图片的代码在哪里
想要批量下载就要搞清这些图片的代码规律
下面图片里有我的思路

在这里插入图片描述
下面是我写的代码 和解释 =前面的是自己命名的,不知道他会出来什么的时候可以print()打印一下名字 看结果是什么
这是效果图 我写的时间 2019/11/03 复制下 改一下保存那个位置应该可以用
在这里插入图片描述2
在这里插入图片描述

在这里插入代码片
#导入框架     #号是用来注释的#后面的没有任何额效果
import re
import requests
#确定url
url='https://www.doutula.com/article/list/?page=%d'#这是网页的网址 %d  d是占数字时 后面用%+内容可以换掉里面的内容
for i in range(1,4):#用for循环列出1-4我想下载4个网站上的图片  #for循环一次下面的循环一边
    temp=url%i#获取源码   #这时候就用%i {i就是1-3},替换掉url中的%d
    reponse=requests.get(temp).text#这时候我们用requests 请求库 用get 的方式请求网站获取源码 用.text把获取源码并转化为文本
    #正则删选
    mig_url=re.findall(r'(data-original)="(.*?)"',reponse) #正则表达式 来得到我们想要的图片网址#我不太会正则只会个.*匹配全部的
    for mig_urls in mig_url:#用for循环把 删选的源码 图片列出来
        mig_urls=mig_urls[-1]#因为不太会正则所以删选的数据又多出来的部分 我只需要最后面的图片源码所以用[-1]
        mig_name=mig_urls.split('/')[-1] #提取图片的名字。。。
        mig_urls=requests.get(mig_urls).content#把提取出的图片源码 用requests.get的方式请求,.content转为二进制
        #保存下载的东西
        with open('./c/%s'%mig_name,'wb') as ll:# ()里面的内容 保存的位置  ./是当前文件夹 %s   s占位字符串 ,wb是写入权限
         ll.write(mig_urls)#(ll)这个是随意写的和上面写的一至即可  文件写入 下载的二进制()里面输入的是上面求的
        







利用 TensorFlow 训练自己的目标识别器。本文内容来自于我的毕业设计,基于 TensorFlow 1.15.0,其他 TensorFlow 版本运行可能存在问题。.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值