2021-10-24Python爬虫学习

Python 爬虫学习（1）

1.什么是爬虫
当我们打开网页时，浏览器会做许多工作来让你看到这个网页
爬虫的工作也和浏览器差不多
我们先来了解一下浏览器的工作

当我们想将网页中的图片下载下来时，只需要右键单击下载即可，但是在浏览器眼里他是这样的

我：打开xxx网页
我把xxx给你：浏览器
我：找到这张图，复制下载（取数据）
我：将数据黏贴到本地（存数据）
这么看只有用户和浏览器两方但实际还有第三方服务器，浏览器会先向服务器请求数据，服务器收到请求后将数据发送给浏览器

当我们在浏览器中输入一个网址（url），浏览器会向储存这个网址的服务器获取该网址的数据，这个过程叫请求（request）
当服务器收到请求后，将对应网址数据发送给浏览器，这个过程叫响应（response）

当浏览器收到数据后会解析数据，让数据变成人能看懂的网页
当我们浏览网页时我们会筛选数据，从中找出我们需要的内容

这几个步骤爬虫都能为我们效劳

Requeste库
我使用的是pycharm，首先安装request库

打开终端输入pip install requests即可

使用方法

输出结果response 200说明连接成功

接下来我们找一张图片进行测试

以这张图片为例，复制url
图片来源为该网站https://pixabay.com/zh/

import requests

#在使用前需要先通过 import 来引入 requests 库
res = requests.get('https://cdn.pixabay.com/photo/2019/06/08/21/32/castle-4261029_960_720.jpg')
#我们通过调用requests库中的get()方法来获取数据，这个方法需要参数，参数就是你需要请求的网址
print(res)
pic=res.content
#把Reponse对象的内容以二进制数据的形式返回
photo = open('logo.jpg','wb')
#新建了一个文件logo.png，这里的文件没加路径，它会被保存在程序运行的当前目录下。
#图片内容需要以二进制wb读写。你在学习open()函数时接触过它。
photo.write(pic)
#获取pic的二进制内容
photo.close()
#关闭文件

运行结果如下
成功下载