大数据——python爬虫

本文介绍了在Win10环境下,使用Python爬虫技术爬取网页图像的步骤,包括设置requests和beautifulsoup4库,获取HTML信息,解析并提取图像URL,以及保存图像。文章强调了正确设置User-Agent以避免被目标服务器识别为爬虫的重要性。
摘要由CSDN通过智能技术生成

爬虫——首次实现爬取图像

前言:早在写论文期间想利用爬虫技术爬取图像相关图像数据,作为大数据、深度学习的数据资源。着手学习python,但由于各种原因最终没有实现,而是用了最笨的鼠标右键-保存操作,现在来弥补这一遗憾。文章主要参考岚漾忆雨博主的Python爬虫之——爬取妹子图片

一、平台

本项目实现平台为Win10,Pycharm,这里就不具体介绍了。

二、准备条件

学习python相关基础知识后,发现距离掌握爬虫技术还是有一定差距,主要是对爬虫技术中涉及到几个第三方库认识不够。但是在实现本项目后发现,如果你的正则表达学习的够好,那么你完全可以不依靠第三方库来实现(此处待写完本博再斟酌)。

准备的第三方库为:

requests  
beautifulsoup4  

这两个库在这里不做解释,需大家自己搜资料学习,因为简单解释对于完成本项目显得徒劳,因此需要深入学习。

三、具体实现过程

原理就刻板的叙述了,其大体过程就是使用python编程按照个人目的,自动获取网页上的图像信息,并保存下来。

本文爬取的目标是:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值