基础爬虫系列课程授课内容0——爬虫的基本原理

1、向服务器发起请求

通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器的响应。

2、获取响应内容

如果服务器正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML、JSON、二进制文件（如图片、视频等类型）。

3、解析内容

得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是JSON，可以直接转成JOSN对象进行解析，可能是二进制数据，可以保存或者进一步处理。

4、保存内容

保存形式多样，可以保存成文本，也可以保存至数据库，或者保存成特定格式的文件。

小白疑问：

什么是Response和Request ？

Request中包含哪些内容？

1、请求方式

主要是GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。

2、请求URL

URL全称是统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL来唯一来确定。

3、请求头

包含请求时的头部信息，如User-Agent、Host、Cookies等信息。

4、请求体

请求时额外携带的数据，如表单提交时的表单数据。

Response中包含哪些内容？

1、响应状态

有多种响应状态，如200代表成功，301代表跳转，404代表找不到页面，502代表服务器错误等。

2、响应头

如内容类型、内容长度、服务器信息、设置cookies等等。

3、响应体

最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。

下面给大家举个小例子：

from fake_useragent import UserAgent

import requests

ua=UserAgent()

#请求的网址

url=“http://www.baidu.com”

#请求头

headers={“User-Agent”:ua.random}

#请求网址

response=requests.get(url=url,headers=headers)

#响应体内容

print(response.text)

#响应状态信息

print(response.status_code)

#响应头信息

print(response.headers)

爬虫能抓到什么样的数据呢？

1、网页文本

如HTML文档、JSON格式文本等。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

点，真正体系化！**

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）