Python爬取网页简单知识梳理

1.安装lxml库

Python中有很多专门用于网络爬虫开发的库，比如requests、beautifulsoup4、lxml等等。

LXML库的主要优点是易于使用，在解析大型文档时速度非常快，归档也特别好，且提供了简单的转换方法来将数据转换为python数据类型，从而使文件操作更容易。

安装并导入lxml模块命令：

pip install lxml

from lxml import etree

2.使用request库获取网页内容

在使用requests库进行网页抓取时，首先要做的就是发送HTTP请求。具体来说，可以使用requests.get()方法来发送GET请求，并接收响应内容。

request模块的一些东西：

requests 模块处理网页内容的基本逻辑：

定义一个URL 地址；

发送HTTP 请求；

处理HTTP 响应。

请求方法中的参数

url	请求url地址
headers	自定义请求头
params	发送GET参数
data	发送POST参数
timeout	请求延时
files	文件上传数据流

响应对象中属性

response.text	响应正文(文本）
response.content	响应正文（二进制）
response.status_code	响应状态码
response.url	发送请求的url地址
response.headers	响应头部
response.request.headers	请求头部
response.cookies	cookies相关信息

3.截取网页文本内容，用etree解析网页

selector =etree.HTML(html)

4.自行对网页进行属性或者文本元素查找

例题：查找class="line-4"行中a标签中src内容

list1 = selector.xpath('//*[@class="line-4"]/a/@src')
print(list1)

打印到控制台：