1、浏览器的工作原理
以下,就是浏览器的工作原理,是人、浏览器、服务器三者之间的交流过程:
首先,我们在浏览器输入网址(也可以叫URL)。然后,浏览器向服务器传达了我们想访问某个网页的需求,这个过程就叫做【请求】。
紧接着,服务器把你想要的网站数据发送给浏览器,这个过程叫做【响应】
所以浏览器和服务器之间,先请求,后响应,有这么一层关系。
当服务器把数据响应给浏览器之后,浏览器并不会直接把数据丢给你。因为这些数据是用计算机的语言写的,浏览器还要把这些数据翻译成你能看得懂的样子,这是浏览器做的另一项工作【解析数据】。
紧接着,我们就可以在拿到的数据中,挑选出对我们有用的数据,这是【提取数据】。
最后,我们把这些有用的数据保存好,这是【存储数据】。
2、爬虫的工作原理
其实,爬虫可以帮我们代劳这个过程的其中几步,请看下图:
把【请求——响应】封装为一个步骤——获取数据。由此,我们得出,爬虫的工作分为四步:
第0步:获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。
第1步:解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
第2步:提取数据。爬虫程序再从中提取出我们需要的数据。
第3步:储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。
3、体验爬虫
任务就是学会爬虫的第0步:获取数据。
我们将会利用一个强大的库——requests来获取数据,requests库可以帮我们下载网页源代码、文本、图片,甚至是音频。
3.1 requests.get()的基本用法
import requests
#引入requests库
res = requests.get('URL')
#requests.get是在调用requests库中的get()方法,它向服务器发送了一个请求,括号里的参数是你需要的数据所在的网址,然后服务器对请求作出了响应。
#我们把这个响应返回的结果赋值在变量res上。
requests.get()发送了请求,然后得到了服