爬虫 页面元素变化_爬虫第二课：解析网页中的元素

一、基本步骤

在我们理解了网页中标签是如何嵌套，以及网页的构成之后，我们就是可以开始学习使用python中的第三方库BeautifulSoup筛选出一个网页中我们想要得到的数据。

接下来我们了解一下爬取网页信息的步骤。

想要获得我们所需的数据分三步

第一步：使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,'lxml')

第二步：描述想要爬去信息的东西在哪里。

信息 = Soup.select('???')

要知道它叫什么名字，如何去定位。

第三步：从标签中获得你想要的信息

Something

从标签中获取我们需要的信息，去掉一些没有用的结构，并且把我们获取的信息按照一定格式装在数据容器中，方便我们去查询。

二、两种路径获得方式详解

接下来，我们首先进行第一步，如何使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,'lxml')

实际上我们构造一个解析文件需要一个网页文件和解析查询库。就好比左边的Soup是汤，html是汤料，而lxml是食谱。

今天我们需要讲的BeautifulSoup，通过我们告诉它元素的具体的位置，就可以向他指定我们想要爬去的信息。

找到相应的元素右键检查的，看到元素的代码信息进行右击，我们有两种方式获得标签的位置的具体描述方式

1.使用copy selector

2.使用copy XPath

这两种复制的路径有什么区别，