Python爬虫学习第三章-1-聚焦爬虫与数据解析的概述

Python爬虫学习第三章-1-聚焦爬虫与数据解析的概述

  这一节是聚焦爬虫与数据解析的概述

  数据解析概述：应用在聚焦爬虫中，聚焦爬虫爬取的是页面中指定的页面内容，是局部信息，聚焦爬虫是建立在通用爬虫之上的，首先可以使用通用爬虫爬取整张页面，然后提取指定内容，这个提取的过程就是数据解析。

• 数据解析的方式：正则、bs4、xpath
• 数据解析的原理：先使用通用爬虫获取整张页面，我们要解析的大部分数据都在源代码的标签中，所以只需要捕获特定的里标签或者标签中的属性，就可以获取特定的文本或其他内容。（解析的局部的文本内容都会在标签之间或标签对应的属性中进行存储。）
• 步骤：进行指定标签的定位——>将标签或者标签对应属性中存储的数据值进行提取解析.
• 编码流程：指定url并进行UA伪装-》发起请求-》获取响应数据-》进行数据解析-》进行持久化存储