Python爬虫教程：解析网页中的元素

前言：

嗨喽~大家好呀，这里是魔王呐 ❤ ~!

python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取

在我们理解了网页中标签是如何嵌套，以及网页的构成之后，

我们就是可以开始学习使用python中的第三方库BeautifulSoup筛选出一个网页中我们想要得到的数据。

接下来我们了解一下爬取网页信息的步骤。

一、基本步骤

想要获得我们所需的数据分三步

1. 使用BeautifulSoup解析网页

   Soup = BeautifulSoup(html,‘lxml’)

2. 描述想要爬去信息的东西在哪里。

   信息 = Soup.select(‘???’)

   要知道它叫什么名字，如何去定位。

3. 从标签中获得你想要的信息

   <p>Something</p> 从标签中获取我们需要的信息，去掉一些没有用的结构，

   并且把我们获取的信息按照一定格式装在数据容器中，方便我们去查询。

二、两种路径获得方式详解

接下来，我们首先进行第一步，如何使用BeautifulSoup解析网页

Soup = BeautifulSoup(html,'lxml')

实际上我们构造一个解析文件需要一个网页文件和解析查询库。

就好比左边的Soup是汤，html是汤料，而lxml是食谱。

今天我们需要讲的BeautifulSoup，通过我们告诉它元素的具体的位置，就可以向他指定我们想要爬去的信息。

找到相应的元素右键检查的，看到元素的代码信息进行右击，我们有两种方式获得标签的位置的具体描述方式

1. 使用copy selector

2. 使用copy XPath

这两种复制的路径有什么区别，接下来就让大家看一下

右键标签copy selector复制出来的路径

body > div.body-wrapper > div.content-wrapper > div > div.main-content > div:nth-child(15) > a

右键标签copy XPath复制出来的路径

'''
遇到问题没人解答？小编创建了一个Python学习交流QQ群：926207505
寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习