【爬虫入门】day1爬虫基本原理

最新推荐文章于 2024-10-05 08:53:18 发布

周小丫0_0

最新推荐文章于 2024-10-05 08:53:18 发布

阅读量222

点赞数

分类专栏： python基础文章标签：爬虫

本文链接：https://blog.csdn.net/qq_33749437/article/details/101345929

版权

python基础专栏收录该内容

13 篇文章 0 订阅

订阅专栏

什么是爬虫

请求网站并提取数据的自动化程序
（写程序模拟浏览器向服务器发送请求来获取网页资源）

爬虫的基本流程

发起请求

通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应

获取响应内容

如果服务器正常响应，会得到一个Response，Response的内容就是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）

解析内容

得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。

保存数据

保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。

Request与Response

（1）浏览器就发送消息给该网址所在的服务器，这个过程叫做HTTP Request。
（2）服务器收到浏览器发送的消息后，能根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。
（3）浏览器收到服务器的Response信息后，会对信息进行相应处理，然后展示。

Requset

请求方式

主要有GET和POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。

GET请求中的参数包含在URL里面，数据可以在URL中看到，而POST请求的URL不会包含这些数据，数据需要构建一个表单，通过表单形式传输，包含在请求体中。
GET请求提交的数据最多只有1024字节，POST没有限制

请求URL

URL全称统一资源定位符，如一个网页文档、一张图片、一个视频都可以用URL唯一来确定。

请求头

包含请求时的头部信息，如User-Agent、Host、Cookies等信息。

请求体

请求时额外携带的数据，如表单提交时的表单数据。
在爬虫中如果要构造POST请求，需要使用正确的Content-Type，并了解各种请求库的各个参数设置时使用的是哪种Content-Type，不然可能会导致POST提交后无法正常响应。

Response

响应状态

响应状态码表示服务器的响应状态，如200代表成功，301跳转、404找不到页面、502服务器错误

响应头

包含了服务器对请求的应答信息，如内容类型、内容长度、服务器信息、设置Cookie等待。

响应体

最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。

能抓怎样的数据

网页文本、图片、视频、其他
合法的能抓取的

解析方式

直接处理，比如字符串
Json解析，ajax加载的
正则表达式，文本提取
BeautifulSoup，解析库
PyQuery，解析库
Xpath，解析库

Javascript渲染页面

网页源代码实际和浏览器中看到的不一样：网页越来越多地用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的。
如何解决JavaScript渲染的问题？

分析Ajax请求
Selenium/WebDriver
Splash

怎样保存数据

纯文本
关系型数据库
非关系型数据库

Urllib库

python内置的HTTP请求库

urllib.request 请求模块，用来模拟发送请求
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块

发送请求

urlopen()

最基本请求的发起

urlib.request.urlopen(url, data=None,[timeout,]*, cafile=None, capath=None, cadefault=False, context=None)

参数dataurlencode()和bytes()方法转成字节流

Request()

urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)

Handler

处理器；利用Handler来构建Opener；
Opener可以使用open方法，返回的类型和urlopen如出一辙。

Cookie

用来维持登陆状态的

处理异常

urllib的error模块定义了由request模块产生的异常。如果出现了问题，request模块会抛出error模块中定义的异常。

URLError

URLError类来自urllib库的error模块，继承自OSError类，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类来处理。
它具有一个熟悉reason，即返回错误的原因。

HTTPError

URLError的子类，专门用于处理HTTP错误；
code：返回HTTP状态码
reason：返回错误原因
headers：返回请求头

解析链接

urlparse

可以实现URL的识别和分段。

from urllib.parse import urlparse

result = urlparse('https://dblp.uni-trier.de/db/conf/emnlp/')
print(type(result),result)

##输出
#<class 'urllib.parse.ParseResult'> ParseResult(scheme='https', netloc='dblp.uni-trier.de', path='/db/conf/emnlp/', params='', query='', fragment='')

scheme：协议类型
netloc：域名
path：访问路径
params：参数
query：查询条件，一般作用于GET类型的URL
fragment：锚点，用于直接定位页面内部的下拉位置