Python爬虫教学

Python爬虫教学 数据解析分类

1.正则
2.bs4
3.xpath

数据解析原理概述

1.进行指定标签的定位
2.标签或者标签对应的属性中储存的数据值进行提取

正则解析模板:

ex=’

. ?<img src="(.?)" alt.*?>

’

bs4进行数据解析

解析原理
1.标签定位
2.提取标签或者标签属性中存储的数据值
bs4解析的过程
1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
对象的实例化:
1.将本地的html文档中的数据加载到该对象中
fp = open(’./test.html’,‘r’,encoding=‘utf-8’)
soup = BeautifulSoup (fp.‘lxml’)
2.将互联网上获取的页面源码加载到该对象中
page_text = response.text
soup = BeatifulSoup (page_text,‘lxml’)
提供的用于数据解析的方法和属性:
soup.tagName:返回的是文档中第一次出现的tagName对应的标签
soup.find(’ div ‘)#可以直接传标签的名称，相当于soup.div
soup.find_all(‘a’)#找到html中所有的a标签
select函数
是某种选择器
select(id,class,标签…选择器)，返回的是一个列表
例如soup.select(’.tang>ul>li>a’)[0]层级选择器，一层层选择下来，然后定位到第0个a标签
空格表示多个层级，>表示一个层级

如何获取标签中的文本数据

加一个.text /.string或是.get_text()或者
text和get_text()可以获取到标签下的所有文本内容（非直系也可以）
string只可以获取标签下的直系文本内容

Xpath数据解析

–xpath解析原理:
1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中
2.调用etree对象中的xpath方法结合xpath表达式实现标签的定位和内容的捕获

如何实例化一个etree对象:from lxml import etree
1.将本地的html文档中的源码数据加载到etree对象中
etree.parse(filePath)
2.可以将从互联网上获取的源码数据加载到该对象中
etree.HTML(‘page_text’)
xpath(‘xpath表达式’)