python爬虫基础----使用正则表达式解析数据

---

前言

通过实例来学习数据解析中的正则表达式解析方法，在实操的过程中也会扩展一些知识点的分享

一、正则表达式的基本用法

正则表达式描述了一种字符串匹配的模式（pattern），可以用来检查一个字符串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
通俗理解：就是使用一种规则性的表达式来寻找文本字符串中通用的数据。

我们在解析数据时一般会用到几个常用的函数：
re.find(),re.findall() :一个是找到一个便返回值，另一个是找到所有符合条件的值，里边的参数都是“pattern”，“字符串文本”。
re.match(),re.search() : 一个是从头开始匹配，一个是从任意位置开始匹配
re.complie() ,re.finder() 返回迭代器 re.sub() :替换

以及我们在获取数据时的贪婪模式 .*?

二、实例分析

1.获取我们想要的数据

代码如下（示例）：

import requests
from bs4 import BeautifulSoup
import re
import csv
url = "https://www.mi.com/p/1915.html"
requ = requests.get(url)

data = requ.text.replace(" ","").replace("\n","")
# print(data)

#obj = re.compile(r'var GLOBAL_ACTIVITY = {(.*?)}',re.S)
data_list =[]
data_dict = re.findall(r'varGLOBAL_ACTIVITY={(.*?)};',data)
#print(data_dict)
data_img = re.findall(r'"img_url":"(.*?)"',str(data_dict))
#data_list.append(data_img[1:])
data_name = re.findall(r'"product_name":"(.*?)"',str(data_dict))
#data_list.append(data_name)
data_brief = re.findall(r'"product_brief":"(.*?)"',str(data_dict))
#data_list.append(data_brief)
data_orgPrice = re.findall(r'"product_org_price":"(.*?)"',str(data_dict))
#data_list.append(data_orgPrice)
data_price = re.findall(r'"product_price":"(.*?)"',str(data_dict))
#data_list.append(data_price)
#print(data_list)

在我们进行爬虫前首先要做的是分析网页内容，以及他的源代码中是否有我们需要的数据
在爬取内容前我对网页进行了分析，在源代码中存在所需数据
于是直接访问源代码数据
得到后发现一个问题

在开发者工具里定位的标签在源代码中没有，所以我们看到的可能是经过渲染后的数据，所以我们无法使用BeautifulSoup进行数据解析。

所以我们现在了使用正则表达式进行解析数据
通过正则表达式定位数据，同时使用re.findall(),找到所有需要的数据

当然有时候数据可能会存在一些问题，比如有换行符呀，空格呀。我们可以使用replace()，进行替换处理
还有像split() 可以根据特定符号进行字符串切割
strip（） 去除左右两边的空格
需要注意的是，这些函数都只能运用在字符串中

2.保存我们获取的数据

for i in range(len(data_price)):
    data_list.append([data_name[i],data_brief[i],data_price[i],data_orgPrice[i],data_img[i]])
with open("小米手机更多信息.csv", "w", encoding="utf-8", newline="") as f:
    csvwriter = csv.writer(f)
    csvwriter.writerows(data_list)
    print("over!")
print("allover!")

我是将数据储存在了csv文件中，新建一个文件夹，将数据依次写入文件夹中。

总结

爬虫流程，思路其实大同小异，通过分析我们所需要的数据，通过不同的解析方法，去获取我们的数据。只要能够得到最终的数据，便是完成了。本次我们是使用了最适合的正则表达式爬取。其他解析方式也有其优势之处。