python爬虫之数据解析

聚焦爬虫：爬取页面中指定的页面内容

• 编码流程
  1.指定ur
  2.发起请求
  3.获取响应数据
  4.数据解析
  5.持久化存储

• 数据解析分类：

  • 正则
  • bs4（Python独有）
  • xpath（重点）

数据解析概述：

• 解析的局部文本内容，在标签之间或者标签对应的属性中存储
• 进行指定标签的定位
• 标签或者标签对应属性中存储的数据值进行提取（解析）

图片数据爬取：

<div class="thumb">

<a href="/article/124201234" target="_blank">
<img src="//pic.qiushibaike.com/system/pictures/12420/124201234/medium/GZGFDM2H78ZIGZ2J.jpg" alt="糗事#124201234" class="illustration" width="100%" height="auto">
</a>
</div>

正则：

ex = '<div class="thumb">.*?<img src="(.*?)" alt.*?</div> '
img_src_list = re.findall(ex,page_text,re.S)

bs4数据解析原理：

• 实例化一个beautifulSoup对象，并且将页面源码数据加载到该对象中
• 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

环境安装：

• pip install bs4
• pip install lxml

实例化BeautifulSoup对象

• from bs4 import BeautifulSoup
• 对象的实例化：
  1.将本地的HTML文档中的数据源码加载到该对象中
  fp=open(‘D:/wmd/sougou/qiutu.html’,‘r’,encoding=‘utf-8’)
  soup = BeautifulSoup(fp,‘lxml’)
  2.将互联网上获取的页面源码加载到该对象中
  page_text = response.text
  soup = BeautifulSoup(page_text,‘lxml’)

bs4提供的用于数据解析的方法和属性：

• soup.TagName返回的是HTML中第一次出现的TagName标签
• soup.find(‘TagName’)相当于soup.TagName
  find()可以对标签进行属性定位
• soup.find_all()：找到符合要求的所有标签（列表）
  也可以对标签进行属性定位
• select(‘某种选择器（ID，class，标签。。。）’)返回的是符合要求的所有（列表）
  层级选择器：
  soup.select(’.thumb > a > img’)（>表示的是一个层级）
  soup.select(’.thumb img’)（空格表示的是多个层级）
• 获取标签之间的文本数据：soup.a.text/string/get_text()
  区别：text，get_text()可以获取某个标签中所有的文本内容（包括不是该标签直系的内容）
  string只可以获取该标签下直系的内容
• 获取标签中的属性值
  soup.img[‘src’]

Python爬取网页中文乱码问题

可能原因：
(1)网页采用GB2312的方式编码
查看网页源代码的头部，如果是如下图charset=geb2312的方式编码，则说明是中文乱码的原因。

解决办法：
获得内容后，将内容进行重新编码，使用Python爬虫进行爬取时，解决的具体代码是：

#已知网页的url和headers,使用requests获取网页
r = requests.get(url, headers=headers).encoding('gb2312')

print(r.text)

（2）网页进行了gzip压缩
进行网页查看的时候，网页头部是正常的，不是因为gb2312的编码原因，如下图所示，这是网页可能是因为使用了gzip方式压缩了。

解决方法：对网页解压缩，解压缩的方式如下：
#已知网页的url和headers,使用requests获取网页

page_text =requests.get(url, headers=headers).content.decode('UTF-8')
print(page_text)

（3）手动设定相应数据的编码格式

url = 'https://pic.netbian.com/4kdongman/'
r = requests.get(url =url,headers=headers)
# 手动设定相应数据的编码格式
r.encoding = 'utf-8'
page_text = r.text

（4）通用处理中文乱码的解决问题

img_name = li.xpath('./a/img/@alt')[0]+'.jpg'
#通用处理中文乱码的解决问题
img_name.encode('iso-8859-1').decode('gbk')

xpath

xpath解析原理

1. 实例化一个etree的对象，并且需要将被解析的页面源码数据加载到该对象当中。
2. 调用etree对象中的xpath方法并结合着xpath表达式实现标签的定位和内容的获取

如何实例化一个etree对象: from lxml import etree

1、将本地的HTML文档中的源码数据及再到etree对象中
etree.parse(flePath)
2、可以将从互联网上获取的掩码数据加载到该对象当中
etree.HTML(‘page_text’)
xpath(‘xpath表达式’)

Xpath表达式：

/：一个斜杠在开头表示的是从根节点开始定位，中间表示的是一个层级
//：双斜杠在开头表示的是找到所有的标签，在中间表示的是多个层级
属性定位：tree.xpath(‘/html/body/div’[@class=”thumb”]’)
Tag[@attrName=”attrVlaue”]
索引定位：//div[@clas=”thump”]/p[3] 索引是从1开始的
取文本：
/text()（只能取标签中直系的内容）
//text()（获取标签中非直系的内容，即标签中所有的内容）
取属性：
/@attrName： 例如： //div/img/@src