【python爬虫】数据解析

数据解析分类：

• 正则
• bs4
• xpath

数据解析原理概述：

解析的局部的文本内容都会在标签中间或者标签对应的属性中进行存储

一、正则

常用正则：

正则示例：

这里要记录我走过的一个大坑

我第一次用正则来进行数据解析的时候，是拿新浪图片这个网站开刀的（http://news.sina.com.cn/zt_d/street/），我想爬取这个页面中所有的“月选作品”图片，于是就右键检查找到对应图片的代码，是这样的：

<img node-type="img" style="width: 100%;height: 100%;" src="http://n.sinaimg.cn/news/transform/20170627/_ciD-fyhneam3885164.jpg">

用正则解析很好办，就是把图片的那块网址替换成(.*?)就好了，但是这样做出来的结果是爬到的列表为空。

这是因为开发者工具中看到的源代码和我们直接打开看到的源代码不一样，我们爬的是原始的源代码，但是开发者工具中的是可能被浏览器修改过的，可能是JavaScript渲染的等等，而且我们用page_text = requests.get(url=url, headers=headers).text得到的是网页的源代码，因此我们要直接右键点击查看网页源代码来找对应的语句。

但是查看网页源代码的话篇幅冗长，很难找到目标在哪，我们可以利用之前在“检查”时找到的相关信息，比如img node-type=“img”，ctrl+P找到它的位置，就可以快速定位。

实际上，在源代码中这句话是这么写的：

<img node-type="img"  _src="http://n.sinaimg.cn/news/transform/20170627/F3Io-fyhneam3884099.jpg" style="width: 100%;height: 100%;" />

然后写正则就可以找到了：

ex = '<img node-type="img"  _src="(.*?)" style="width: 100%;height: 100%;" />'

import re
import requests
import os
# 没有这个文件夹则新建
if not os.path.exists('./pages'):
    os.mkdir('./pages')

url = "http://news.sina.com.cn/zt_d/street/"
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
}
page_text = requests.get(url=url, headers=headers).text
#print(page_text)
ex = '<img node-type="img"  _src="(.*?)" style="width: 100%;height: 100%;" />'
img_src_list = re.findall(ex, page_text, re.S)

for src in img_src_list:
    img_data = requests.get(url=src, headers=headers).content  # 二进制用.content
    img_name = src.split('/')[-1]
    img_path = './pages/' + img_name
    with open(img_path, 'wb') as fp:  # 注意python3之后要用wb不然会write不成功
        fp.write(img_data)
        print(img_name, '下载成功！')

如果那个网页不止一页，而是分成了很多页，我们如何实现爬虫自动翻页爬取呢？只需要利用这些页面的相似性，改一下url就行了。我们先手动翻一下页，看一下url的变化规律，然后写一个url的通用模板交给for循环即可：

二、bs4

安装扩展包：

pip install lxml
pip install bs4

bs4数据解析的原理：

1. 实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中
2. 通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取

如何实例化BeautifulSoup对象：


示例：

from bs4 import BeautifulSoup
import requests
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
}
url = 'https://www.shicimingju.com/paiming?p=1'
response = requests.get(url=url, headers=headers)
response.encoding = 'utf-8'  
page_text = response.text
soup = BeautifulSoup(page_text, 'lxml')
poem_list = soup.select('.shici_list_main > h3 > a')
fp = open('./poem.txt', 'w', encoding='utf8')
for poem in poem_list:
    title = poem.string
    detail_url = 'https://www.shicimingju.com'+poem['href']
    res = requests.get(url=detail_url, headers=headers)
    res.encoding = 'utf-8'  # 根治乱码
    detail_page_text = res.text
    detail_soup = BeautifulSoup(detail_page_text, 'lxml')
    div_tag = detail_soup.find('div', class_='item_content')
    content = div_tag.text
    fp.write(title+':'+content+'\n')
    print(title, '下载成功！')

三、xpath

xpath解析原理：

xpath表达式：

xpath示例：

网页格式：

目的：把所有h1爬出来

import requests
from lxml import etree

url = 'https://www.kuangstudy.com/bbs'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = 'utf8'
page_text = response.text

tree = etree.HTML(page_text)
div_list = tree.xpath("//div[@class='load-topics-page']")
print(div_list)

xpath还可以这么写：

div_list = tree.xpath("//div[@class='title-article ksd-title-article-link list-card']")
for div in div_list:
    title = div.xpath('.//h1/text()')[0]
    print(title)

一定要注意，索引在xpath内部时是从1开始的，在外部遵循python规则从0开始。