python-requests+beautifulSoup实现文本和图片爬取网页爬虫

上周老师开会，突然就去承包了个商业项目，让我负责提供数据。所以最近任务就是---写爬虫

已经很久没有碰过爬虫了，这几天按照甲方的要求弄了一下下~

发现不涉及到登陆的爬虫做起来还是比较简单滴，特此记录一下下。

关于要登陆的网站，比如微博，人人网之类的爬虫，涉及到模拟登陆之类的知识点的详情请见我的另一篇文章啦~

https://blog.csdn.net/qq_40589051/article/details/98368420

本爬虫的实现用的工具包是 python requests+beautifulsoup，本文只记录了我使用到的部分，其他的功能还是得看官方文档哟！

------目录-------

1 requests用法

2 beautifulSoup用法

3 实例---爬取一个网页上的图片和信息

 

1 requests用法

requests是一个超级好用的http第三方库，用在爬虫和服务器客户端通信之类的项目上都很方便。