爬虫常用库介绍

urllib

• Urllib是 python 内置的库，在 Python 这个内置的 Urllib 库中有这么 4 个模块

• request：request模块是我们用的比较多的，就是用它来发起请求，所以我们重点说说这个模块

• error：error模块就是当我们在使用 request 模块遇到错了，就可以用它来进行异常处理

• parse：parse模块就是用来解析我们的 URL 地址的，比如解析域名地址啦，URL指定的目录等

• robotparser：这个用的就比较少了，它就是用来解析网站的 robot.txt

了解了 urllib 之后
我们就可以用 python 代码来模拟请求了

Requests

Requests这个库比我们上次说的 urllib 可是要牛逼一丢丢的，毕竟 Requests 是在 urllib 的基础上搞出来的。通过它我们可以用更少的代码模拟浏览器操作。
对于不是 python 的内置库，我们需要安装一下，直接使用 pip 安装

pip install requests

一行代码GET请求

r = requests.get('https://www.sina.com.cn/')

一行代码post请求<