阿极的博客

“可数据分析，机器学习，毕设等做数据支撑”。爬取深圳2024年链家二手房数据。

本节我们将了解-下正则表达式的相关用法°正则表达式是用来处理字符串的强大工具,它有自己特定的语法结构’有了它’实现字符串的检索、替换、匹配验证都不在话下°

本节我们将了解一下正则表达式的相关用法。正则表达式是用来处理字符串的强大工具，它有自己特定的语法结构，有了它，实现字符串的检索、替换、匹配验证都不在话下。当然，对于爬虫来说，有了它，从HTML里提取想要的信息就非常方便了。

本节的requests库的基本用法就介绍到这里了，怎么样?有没有感觉它比urlib库使用起来更为方便。本节内容需要好好掌握，后文我们会在实战中使用requests库完成一个网站的爬取，顺便巩固requests库的相关知识

我们了解了urllib库的基本用法，其中确实有不方便的地方，例如处理网页验证和Cookie时，需要写Opener类和Handler类来处理。另外实现POST、PUT等请求时的写法也不太方便。为了更加方便地实现这些操作，产生了更为强大的库—requests。有了它，Cookie、登录验证、代理设置等操作都不是事儿。接下来，让我们领略一下requests库的强大之处吧。

urlsplit：该方法用于将URL分解为不同的组件，如协议、网络位置、路径、参数和片段，方便单独处理这些部分。urlunsplit：与urlsplit相反，该方法将URL的各个组件重新组合成一个完整的URL字符串。urljoin：用于将基础URL与相对或绝对URL合并，生成一个完整的URL。它在处理相对路径或构建URL时非常有用。urlencode：该方法将字典或键值对编码为适用于URL查询字符串的格式。它通常用于对包含特殊字符的数据进行编码，以确保URL的正确性和可读性。

掌握urllib库中的异常处理和URL解析功能，对于进行网络编程和网页数据抓取来说是非常重要的。它们能够帮助我们编写更加健壮和灵活的程序，应对各种网络请求场景。

首先介绍一个Python库叫作urllib,利用它就可以实现HTTP请求的发送,而且不需要关心HTTP协议本身甚至更底层的实现,我们要做的是指定请求的URL｀请求头｀请求体等信息。此外urlljb还可以把服务器返回的响应转化为Python对象，我们通过该对象便可以方便地获取响应的相关信息’如响应状态码、响应头、响应体等。