爬虫之数据解析

数据解析

1. 正则(字符串匹配)

   Re模块（表达式，方法）

   1)规则

   https://blog.csdn.net/CareChere/article/details/52315728?

   2)检测

   https://regex101.com/#javascript

2. xpath

   1)安装

   # 安装支持 解析html和XML的解析库 lxml
   from lxml import etree
   

   2）使用方法

   1.转解析类型
   xpath_data = etree.HTML(data)
   

   2.调用 xpath的方法
   result = xpath_data.xpath('/html/head/title//text()')
   

   3.xpath语法 1. 节点 /
              2. 跨节点: //
              3. 精确的标签: //a[@属性="属性值"]   属性（mon/class）
              4. 标签包裹的内容 text() ；取网站：@href
              6. xpath返回数据类型->list
              7. xpath 下标 是从 1开始; 
              8. '//a[2]' 中[]只能取平级关系的标签不能跨节点
              9. # 路径 1. 纯手写  2. 借助浏览器的 右击 粘贴xpath路径; 需要修改
              10.模糊查询 //div[contain(@class,"a")]
              11.取下一个节点(平级)
   

   4.保存数据格式-->json
   # 将 list---str
   data_str = json.dumps(self.data_list)
   

3. bs4

   1. 安装

   pip install beautifulsoup4
   from bs4 import BeautifulSoup
   

   2）使用

   四大类型：BeautifulSoup；Tag；NavigableString；Comment

   1.转类型
   soup = BeautifulSoup(html_doc, 'lxml')
   

   2. 解析数据
   #  find--返回符合查询条件的 第一个标签对象
   result = soup.find(name='p',attrs={"class": "story"})
   
   #  find_all--list(标签对象)
   result = soup.find_all(name='p',attrs={"class": "story"})
   
   #  select_one---css选择器
   result = soup.select_one('.sister')
   
   #  select----css选择器---返回list
   #类选择器
   result = soup.select('.sister')
   #id选择器
   result = soup.select('#one')
   #后代选择器
   result = soup.select('head title')
   #组选择器
   result = soup.select('title,.title')
   #属性选择器
   result = soup.select('a[id="link3"]')
   
   #  取出标签包裹的内容---list
   result = soup.select('.title')[0].get_text()
   
   # 标签的属性
   result = soup.select('#link1')[0].get('href')
   

   对比

   难易 正则>xpth>bs4

   效率 正则>xpth>=bs4

4. html & xml(json)

   html：前端，用来给用户看

   xml： 前端 移动端和后台交互的数据形式

   common： 都可以用xpath和bs解析