1.引入正则:
使用正则的可以把获取到的整个页面里指定的需要的部分匹配出来
引入模块:
import re
2.实践:
import requests
import re
if __name__ == "__main__":
#UA伪装:将对应的User-Agent封装到一个字典中
headers = {
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36 Edg/121.0.0.0'
}
url = 'https://travel.state.gov/content/travel/en/legal/visa-law0/visa-bulletin/2024/visa-bulletin-for-march-2024.html'
#https://travel.state.gov
#https://travel.state.gov/content/travel/en/legal/visa-law0/visa-bulletin.html
#https://travel.state.gov/content/travel/en/legal/visa-law0/visa-bulletin/2024/visa-bulletin-for-march-2024.html
#-->地址变化,发起的不是一个ajax请求
#get方法会返回一个响应对象
response = requests.get(url=url,headers=headers)
#text返回的是字符串形式的响应数据
page_text=response.text
#print(page_text)
ex='<table\s+border\s*=\s*"1"\s+cellspacing\s*=\s*"0"\s+cellpadding\s*=\s*"3"\s+width\s*=\s*"100%"\s*>.*?</table>'
#re.S是什么?re.M是什么?
#这里返回的是一个列表?
list=re.findall(ex,page_text,re.DOTALL)
print(list)
#持久化存储
fileName = 'bulletin.html'
with open(fileName,'w',encoding='utf-8') as fp:
fp.write(page_text)
print(fileName,'保存成功!!!')
这个方法正适合我把visa-bulletin-for-march-2024.html里面关于排期的表格单独爬取出来:
值得注意的是,这里原先我根据视频教程里写的正则是:
<table border = "1" cellspacing = "0" cellpadding = "3" width = "100%" >.*?</table>
但是一直没办法在整个html文本中把这个目标table匹配出来,问一下GPT,问题得到了解决:
如果你尝试使用正则表达式提取特定的`<table>`标签,但结果是一个空列表(`[]`),这可能由几个原因造成:
1. **正则表达式不匹配**:如果正则表达式完全按照`<table>`标签的属性编写,但HTML内容中的空格、引号或其他属性的排列顺序略有不同,那么正则表达式可能无法找到匹配项。HTML中的属性顺序可能与你的正则表达式不完全一致,或者属性之间的空格数可能不同。
2. **换行符问题**:如果`<table>`标签跨越了多行,而正则表达式没有使用`re.DOTALL`标志,`.`字符将不匹配换行符,导致正则表达式无法匹配跨行的标签。
3. **HTML内容不完整或有误**:如果HTML内容不完整或者有语法错误,正则表达式可能也会因为无法找到一个正确闭合的`<table>`标签而失败。
针对这些常见问题,你可以尝试以下解决策略:
- 确保正则表达式使用了`re.DOTALL`标志,以匹配跨行内容。
- 修改正则表达式,使其对空格和属性顺序更加宽容。例如,你可以使用`\s*`(匹配零个或多个空白字符)来代替直接的空格,并且不严格依赖属性的顺序。
- 检查HTML内容确保其完整性和正确性。下面是一个调整过的示例,使用了`re.DOTALL`标志,并且对空格处理更加灵活:
```python
import re# 假设html_content是你要搜索的HTML内容
html_content = """这里是其他HTML内容...
<table border="1" cellspacing="0" cellpadding="3" width="100%">表格内容...</table>
这里是更多HTML内容..."""# 使用正则表达式匹配<table>标签,但更灵活地处理空格和属性顺序
pattern = r'<table\s+border\s*=\s*"1"\s+cellspacing\s*=\s*"0"\s+cellpadding\s*=\s*"3"\s+width\s*=\s*"100%"\s*>.*?</table>'# 使用re.findall查找所有匹配项,记得使用re.DOTALL
matches = re.findall(pattern, html_content, re.DOTALL)# 输出匹配的表格
for match in matches:
print(match)
```这个示例中,`\s+`和`\s*`用于匹配一个或多个、零个或多个空白字符,使得正则表达式能更灵活地匹配HTML中的`<table>`标签,即使属性之间的空格数量不一。