爬虫基础 || 1.1 urllib 基础介绍

疫情爆发的第20天，在家办公，比较闲。

曾经作为一名爬虫工程师，已经一年多没写过爬虫了，这几天翻了翻资料和崔老师的《网络爬虫开发》，对爬虫做一次复习，顺便写下这篇学习笔记，慢慢更新，欢迎大家交流学习~~

这篇写的是爬虫基础库urllib的一下基础知识。他包含下面四个主类。

===========================================================================

1.request:它是最基本的 HTTP 请求模块，可以用来模拟发送请求。 就像在浏览器里输入网挝 然后回车一样，只需要给库方法传入 URL 以及额外的参数，就可以模拟实现这个过程了。

2.error： 异常处理模块，如果出现请求错误， 我们可以捕获这些异常，然后进行重试或其他操 作以保证程序不会意外终止。

3.parse： 一个工具模块，提供了许多 URL 处理方法，比如拆分、解析、 合并等。

4.robotparser：主要是用来识别网站的robots.txt 文件，然后判断哪些网站可以爬，哪些网站不可以爬，它其实用得比较少。