目录
本节用到的全部代码（测试时请注释不看的部分，这样便于观察结果）
数据解析概述
在前几节中，我们基本掌握了抓取整个网页的基本技能，但是大多数情况下，我们并不需要整个网页的内容，譬如网页框架、广告、网页通知等。我们想要只抓取我们需要的目标数据，该怎么去处理呢？这就涉及到了数据解析！
我们将一共学习三种解析方式：
1. re解析
2. bs4解析
3. xpath解析
这三种方式并不局限于单独使用，可以根据需求混合进行使用，我们写爬虫是完全以结果作为导向的，正所谓不管黑猫白猫，能抓得到耗子就是好猫嘛！只要能拿得到我们想要的数据，用什么方案并不重要。当我们能够掌握这些方法以后，再去考虑性能的问题。
正则表达式
说到数据解析，最先离不开的就是正则表达式了。
正则的概念：
正则表达式（Regular Expression）是一种使用表达式对字符串进行匹配的语法规则。
说人话就是从一段话/代码中，通过一系列表达式提取出我们想要的部分。我们抓取到的网页源代码如大家所见，本质上就是一个超长字符串，那么想要从里面提取内容，用正则表达式再合适不过了！
正则表达式的优缺点：
优点：速度快、效率高、准确性高
缺点：新手上手难度有点儿高
我们只要能够掌握正则编写的逻辑关系，写出一个提取页面内容的正则表达式其实并不复杂。
正则的语法：
使用元字符进行排列组合用来匹配字符串。这里分享一个在线测试正则表达式的网站：
在线测试正则表达式网站
https://tool.oschina.net/regex/元字符：具有固定含义的特殊符号
常用元字符：
. 匹配除换行符以外的任意字符
\w 匹配字母或数字或下划线
\s 匹配任意的空白符
\d 匹配数字
\n 匹配一个换行符
\t 匹配一个制表符
^ 匹配字符串的开始
$ 匹配字符串的结尾
\W 匹配非字母或数字或下划线
\S 匹配非空白符
\D 匹配非数字
a|b 匹配字符a或b
() 匹配括号内的表达式，也表示一个组
[...] 匹配字符组中的字符
[^...] 匹配除了字符组中字符的所有字符量词：
控制前面的元字符出现的次数
* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次贪婪匹配和惰性匹配
.* 贪婪匹配
.*? 惰性匹配这两个要着重注意，因为我们写爬虫用的最多的就是这个惰性匹配。
典型案例
字符串:玩儿吃只因游戏，晚上一起上游戏。干嘛呢？打游戏啊
表达式:玩儿.*?游戏
结果为:玩儿吃只因游戏
表达式:玩儿.*游戏
结果为:玩儿吃只因游戏，晚上一起上游戏。干嘛呢？打游戏
字符串:<div>胡辣汤</div>
表达式:<.*>
结果为:<div>胡辣汤</div>
表达式:<.*?>
结果为:<div>
</div>
字符串:<div>胡辣汤</div><div><span>饭团</span></div>
表达式:<div>.*</div>
结果为:<div>胡辣汤</div><div><span>饭团</span></div>
表达式:<div>.*?</div>
结果为:<div>胡辣汤</div>
<div><span>饭团</span></div>所以我们能发现这样一个规律：
.*?表示尽可能少的匹配
.*表示尽可能多的匹配
暂时先记住这个规律，后面写爬虫的时候会用到。
re模块
接下来问题来了，正则表达式我会写了，怎么在Python程序里使用正则呢？
相信细心的小伙伴已经发现了正则表达式（Regular Expression）的首字母就是re，也就是我们的re模块，所以我们只需要在Python程序中import re就可以用正则了。
re模块中常用的几个函数
1. findall查找所有，返回一个list
# findall: 匹配字符串中所有的符合正则的内容
# lst=re.findall("\d+","我的电话号是:10086,我女朋友的电话是:10010")
lst = re.findall(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010") # 写一个r更好
print(lst)
print('\n')2. search会进行匹配，但是如果匹配到了第一个结果，就会返回这个结果，如果匹配不上search返回的则是None
# search, 找到一个结果就返回, 返回的结果是match对象,拿数据需要.group()
s = re.search(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010")
print(s)
print(s.group())
print('\n')3. match只能从字符串的开头进行匹配
# match是从头开始匹配,返回的结果是match对象,拿数据需要.group()
# t = re.match(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010") #匹配不到，为空，group()时会报错
t = re.match(r"\d+", "10086,我女朋友的电话是:10010")
print(t)
print(t.group())
print('\n')4. finditer，和findall差不多，只不过这是返回的是迭代器（重点）
# finditer: 匹配字符串中所有的内容[返回的是迭代器], 从迭代器中拿到内容需要.group()
it = re.finditer(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010")
print(it) # 返回迭代器
print('\n')
for i in it:
print(i.group()) # 显示内容
print('\n')5. compile，可以将一个长长的正则进行预加载，方便后面的使用
# 预加载正则表达式
obj = re.compile(r"\d+")
ret = obj.finditer("我的电话号是:10086,我女朋友的电话是:10010")
print(ret) # 返回迭代器
print('\n')
for j in ret:
print(j.group()) # 显示内容
print('\n')
ret = obj.findall("全体mood光向5看7all，看5看5，5宣布个42，54个洒哔")
print(ret)
print('\n')6. 正则中的内容如何单独提取？
单独获取到正则中的具体内容可以给分组起名字
s = """
<div class='qilin'><span id='1'>郭麒麟</span></div>
<div class='iron'><span id='2'>宋铁</span></div>
<div class='sucker'><span id='3'>大聪明</span></div>
<div class='thinker'><span id='4'>范思哲</span></div>
<div class='balabala'><span id='5'>胡说八道</span></div>
"""
obj = re.compile(r"<div class='.*?'><span id='\d+'>.*?</span></div>", re.S) # re.S:让.能匹配换行符 # 打印出来还比较繁琐
result = obj.finditer(s)
for i in result:
print(i.group())
print('\n')
# (?P<分组名字>正则) 可以单独从正则匹配的内容中进一步提取内容
obj = re.compile(r"<div class='(?P<classes>.*?)'><span id='(?P<id>\d+)'>(?P<showname>.*?)</span></div>", re.S) # re.S:让.能匹配换行符 # 打印出来还比较繁琐
result = obj.finditer(s)
for i in result:
print(i.group("classes"))
print(i.group("showname"))
print(i.group("id"))
print('\n')这里能够看到我们可以通过使用分组，来对正则匹配到的内容进行进一步的筛选，使得结果更加清晰易读，也更具有价值。
总结
本节我们学习了数据解析非常重要的一个方法：正则表达式。还学习了正则表达式在Python中的应用：re模块。并通过多方面的例子练习了正则表达式的使用。
希望大家可以和我继续一起努力，一起增强个人能力~
（可以利用业余时间再多了解一些计算机网络知识和HTML、前端等知识，便于我们今后的学习）
关于HTML的学习大家可以参考我的另一个专栏HTML入门、进阶与实战
本节用到的全部代码（测试时请注释不看的部分，这样便于观察结果）
import re
# findall: 匹配字符串中所有的符合正则的内容
# lst=re.findall("\d+","我的电话号是:10086,我女朋友的电话是:10010")
lst = re.findall(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010") # 写一个r更好
print(lst)
print('\n')
# finditer: 匹配字符串中所有的内容[返回的是迭代器], 从迭代器中拿到内容需要.group()
it = re.finditer(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010")
print(it) # 返回迭代器
print('\n')
for i in it:
print(i.group()) # 显示内容
print('\n')
# search, 找到一个结果就返回, 返回的结果是match对象,拿数据需要.group()
s = re.search(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010")
print(s)
print(s.group())
print('\n')
# match是从头开始匹配,返回的结果是match对象,拿数据需要.group()
# t = re.match(r"\d+", "我的电话号是:10086,我女朋友的电话是:10010") #匹配不到，为空，group()时会报错
t = re.match(r"\d+", "10086,我女朋友的电话是:10010")
print(t)
print(t.group())
print('\n')
# 预加载正则表达式
obj = re.compile(r"\d+")
ret = obj.finditer("我的电话号是:10086,我女朋友的电话是:10010")
print(ret) # 返回迭代器
print('\n')
for j in ret:
print(j.group()) # 显示内容
print('\n')
ret = obj.findall("全体mood光向5看7all，看5看5，5宣布个42，54个洒哔")
print(ret)
print('\n')
s = """
<div class='qilin'><span id='1'>郭麒麟</span></div>
<div class='iron'><span id='2'>宋铁</span></div>
<div class='sucker'><span id='3'>大聪明</span></div>
<div class='thinker'><span id='4'>范思哲</span></div>
<div class='balabala'><span id='5'>胡说八道</span></div>
"""
obj = re.compile(r"<div class='.*?'><span id='\d+'>.*?</span></div>", re.S) # re.S:让.能匹配换行符 # 打印出来还比较繁琐
result = obj.finditer(s)
for i in result:
print(i.group())
print('\n')
# (?P<分组名字>正则) 可以单独从正则匹配的内容中进一步提取内容
obj = re.compile(r"<div class='(?P<classes>.*?)'><span id='(?P<id>\d+)'>(?P<showname>.*?)</span></div>", re.S) # re.S:让.能匹配换行符 # 打印出来还比较繁琐
result = obj.finditer(s)
for i in result:
print(i.group("classes"))
print(i.group("showname"))
print(i.group("id"))
print('\n')
1546
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
