python数据抓取方式

数据抓取

  抓取就是让爬虫从每个网页中抽取一些数据，然后实现某些事情。使用Firebug Lite的浏览器扩展，用来检查网页内容，然后介绍三种抽取网页数据的方法，分别是正则表达式、Beautiful Soup和lxml。

分析网页

  想要了解一个网页的结构，大多数浏览器可以通过右键查看源代码获得网页的源代码。对于浏览器解析而言，确实空白字符和格式并没有影响，而我们阅读起来会很困难。安装Firebug Lite后，右键单击我们在抓取中感兴趣的网页部分检视，然后会显示选中元素周围的HTML层次结构。

抓取方法

1. 正则表达式

  在Python中需要引用re模块来使用正则表达式，可以使用正则表达式指定想要匹配的字符串的规则，正则表达式模式串会被编译为一串字节码，然后通过C语言编写的匹配引擎执行。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象，该对象拥有一系列方法用于正则表达式匹配和替换。

（1）re.match函数

  尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，就会返回None。我们可以使用group(num)或groups()匹配对象函数来获取匹配表达式。

# pattern：匹配的正则表达式 string: 要匹配的字符串 flags: 标志位用于控制正则表达式的匹配方式
# re.match(pattern, string, flags=0)
import re
print(re.match('www', 'www.baidu.com').span())  # 在起始位置匹配
print(re.match('com', 'www.baidu.com')) # 不在起始位置匹配

# .*表示任意匹配除了换行符外的任何单个或多个字符，(.*?)表示只保存第一个匹配到的子串
line = "Cats are smarter than dogs"
matchObj = re.match(r'(.*) are (.*?) .*', line, re.M|re.I)
searchObj = re.search(r'(.*) are (.*?) .*', line, re.M|re.I)
if matchObj:
    # group(num=0) 匹配整个表达式的字符串，group可以一次输入多个组号，
    # 这种情况下返回一个包含那些组所对应的元组
    print('matchObj.group():', matchObj.group())
    print('matchObj.group(1):', matchObj.group(1))
    print('matchObj.group(2):', matchObj.group(2))
    print(matchObj.groups())
else:
    print('No match!!')
if searchObj:
    print('searchObj.group():', searchObj.group())
    print('searchObj.group(1):', searchObj.group(1))
    print('searchObj.group(2):', searchObj.group(2))
    
结果：
matchObj.group(): Cats are smarter than dogs
matchObj.group(2): smarter
('Cats', 'smarter')
searchObj.group(): Cats are smarter than dogs
searchObj.group(1): Cats
searchObj.group(2): smarter

（2）re.search方法

  re.search扫描整个字符串并返回第一个成功的匹配。re.match职匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None，而re.search匹配整个字符串，直到找到一个匹配。

（3）re.sub方法

#pattern：正则中的模式字符串 repl：替换的字符串 string：要被查找替换的原始字符串 
#count：模式匹配后替换的最大次数，默认0表示替换所有的匹配
#flags：编译时用的匹配模式
#re.sub(pattern, repl, string, count=0, flags=0)
import re

phone = '2022-08-30 # 这是一个电话号码'
num = re.sub(r'#.*$', "", phone) # 删除注释
print('电话号码:', num)
num = re.sub(r'\D', "", phone) # 移除非数字内容
print('电话号码:', num)

（4）re.compile方法

#compile函数用于编译正则表达式，生成一个正则表达式对象
#re.compile(pattern[,flags])
import re

pattern = re.compile(r'\d+')
m = pattern.match('one12twothree34four') # 从头匹配，没有找到
print(m)
m = pattern.match('one12twothree34four', 3, 10) # 从1的位置开始匹配，找到了
print(m)
m.group(0)

（5）re.findall方法

#在字符串中找到正则表达式所匹配的所有子串，并返回一个列表，如果有多个匹配模式，则返回元组列表
# re.findall(pattern, string, flags=0)
import re

res1 = re.findall(r'\d+', 'google 123 google 456')
pattern = re.compile(r'\d+')
res2 = pattern.findall('google 123 google 456')
res3 = pattern.findall('google888google666', 0, 10)
print(res1, res2, res3)
# 如果有多个匹配模式，返回元组列表
result = re.findall(r'(\w+)=(\d+)', 'set width=20 and height=10')
print(result)

（6）re.finditer方法

# 在字符串中找到正则表达式所匹配的所有子串，然后作为一个迭代器返回
# re.finditer(pattern, string, flags=0)
import re
it = re.finditer(r'\d+', '12a32bc43jf3')
for match in it:
    print(match.group())    

（7）re.split方法

# 按照能够匹配的子串将字符串分割后返回列表
# maxsplit分割次数，默认0不限制次数
#re.split(pattern, string[, maxsplit=0, flags=0])

（8）正则表达式模式

模式	描述
^	匹配字符串的开头
$	匹配字符串的末尾。
.	匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。
[…]	用来表示一组字符,单独列出：[amk] 匹配 ‘a’，‘m’或’k’
[^…]	不在[]中的字符：[^abc] 匹配除了a,b,c之外的字符。
re*	匹配0个或多个的表达式。
re+	匹配1个或多个的表达式。
re?	匹配0个或1个由前面的正则表达式定义的片段，非贪婪方式
re{ n}	匹配n个前面表达式。例如，"o{2}“不能匹配"Bob"中的"o”，但是能匹配"food"中的两个o。
re{ n,}	精确匹配n个前面表达式。例如，"o{2,}“不能匹配"Bob"中的"o”，但能匹配"foooood"中的所有o。"o{1,}“等价于"o+”。"o{0,}“则等价于"o*”。
re{ n, m}	匹配 n 到 m 次由前面的正则表达式定义的片段，贪婪方式
a| b	匹配a或b
(re)	匹配括号内的表达式，也表示一个组
(?imx)	正则表达式包含三种可选标志：i, m, 或 x 。只影响括号中的区域。
(?-imx)	正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re)	类似 (…), 但是不表示一个组
(?imx: re)	在括号中使用i, m, 或 x 可选标志
(?-imx: re)	在括号中不使用i, m, 或 x 可选标志
(?#…)	注释.
(?= re)	前向肯定界定符。如果所含正则表达式，以 … 表示，在当前位置成功匹配时成功，否则失败。但一旦所含表达式已经尝试，匹配引擎根本没有提高；模式的剩余部分还要尝试界定符的右边。
(?! re)	前向否定界定符。与肯定界定符相反；当所含表达式不能在字符串当前位置匹配时成功。
(?> re)	匹配的独立模式，省去回溯。
\w	匹配数字字母下划线
\W	匹配非数字字母下划线
\s	匹配任意空白字符，等价于 [\t\n\r\f]。
\S	匹配任意非空字符
\d	匹配任意数字，等价于 [0-9]。
\D	匹配任意非数字
\A	匹配字符串开始
\Z	匹配字符串结束，如果是存在换行，只匹配到换行前的结束字符串。
\z	匹配字符串结束
\G	匹配最后匹配完成的位置。
\b	匹配一个单词边界，也就是指单词和空格间的位置。例如， ‘er\b’ 可以匹配"never" 中的 ‘er’，但不能匹配 “verb” 中的 ‘er’。
\B	匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’，但不能匹配 “never” 中的 ‘er’。
\n, \t, 等。	匹配一个换行符。匹配一个制表符, 等
\1…\9	匹配第n个分组的内容。
\10	匹配第n个分组的内容，如果它经匹配。否则指的是八进制字符码的表达式。

2. Beautiful Soup

  使用pip install beautifulsoup4安装模块，Beautiful Soup模块可以解析网页，并提供了定位内容的便捷接口将已下载的HTML内容解析为soup文档。

#bs4能够正确解析确实的引号并闭合标签
from bs4 import BeautifulSoup
broken_html = '<ul class=country><li>Area<li>Population</ul>'
#使用lxml模式可以补全文档结构
soup = BeautifulSoup(broken_html, 'lxml')
fixed_html = soup.prettify()
print(fixed_html)
ul = soup.find('ul', attrs={'class': 'country'})
ul.find('li')
ul.find_all('li')

3. Lxml

  Lxml是基于libxml2这一个XML解析库的Python封装。该模块使用C语言编写，解析速度比Beautiful Soup更快，不过安装过程也更加复杂。使用lxml模块也可以把不合法的HTML解析为统一格式，lxml可以正确解析属性两侧缺失的括号，并闭合标签，不过该模块没有额外添加html和body标签。解析完输入内容后进入选择元素的步骤，lxml可以使用xpath选择器和类似bs4的find()方法，还有CSS选择器。CSS选择器表示选择元素所使用的模式，lxml已经实现了大部分CSS3属性，实际是把CSS选择器转换为等价的xpath选择器。

import lxml.html as lh
broken_html = '<ul class=country><li>Area<li>Population</ul>'
tree = lh.fromstring(broken_html)
fixed_html = lh.tostring(tree, pretty_print=True)
print(fixed_html)
tree.cssselect('ul.country') #使用css选择器