为了visa面签预约学习python爬虫-DAY2

1.引入正则：

使用正则的可以把获取到的整个页面里指定的需要的部分匹配出来

引入模块：

import re

2.实践：

import requests
import re

if __name__ == "__main__":
  #UA伪装：将对应的User-Agent封装到一个字典中
  headers = {
    'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Mobile Safari/537.36 Edg/121.0.0.0'
  }
  url = 'https://travel.state.gov/content/travel/en/legal/visa-law0/visa-bulletin/2024/visa-bulletin-for-march-2024.html'
  #https://travel.state.gov
  #https://travel.state.gov/content/travel/en/legal/visa-law0/visa-bulletin.html
  #https://travel.state.gov/content/travel/en/legal/visa-law0/visa-bulletin/2024/visa-bulletin-for-march-2024.html
  #-->地址变化，发起的不是一个ajax请求
  #get方法会返回一个响应对象
  response = requests.get(url=url,headers=headers)
  #text返回的是字符串形式的响应数据
  page_text=response.text
  #print(page_text)

  ex='<table\s+border\s*=\s*"1"\s+cellspacing\s*=\s*"0"\s+cellpadding\s*=\s*"3"\s+width\s*=\s*"100%"\s*>.*?</table>'
  #re.S是什么？re.M是什么？
  #这里返回的是一个列表？
  list=re.findall(ex,page_text,re.DOTALL)
  print(list)
  #持久化存储
  fileName = 'bulletin.html'
  with open(fileName,'w',encoding='utf-8') as fp:
    fp.write(page_text)

  print(fileName,'保存成功！！！')

这个方法正适合我把visa-bulletin-for-march-2024.html里面关于排期的表格单独爬取出来：

值得注意的是，这里原先我根据视频教程里写的正则是：

<table border = "1" cellspacing = "0" cellpadding = "3" width = "100%" >.*?</table>

 但是一直没办法在整个html文本中把这个目标table匹配出来，问一下GPT，问题得到了解决：

如果你尝试使用正则表达式提取特定的`<table>`标签，但结果是一个空列表（`[]`），这可能由几个原因造成：

1. **正则表达式不匹配**：如果正则表达式完全按照`<table>`标签的属性编写，但HTML内容中的空格、引号或其他属性的排列顺序略有不同，那么正则表达式可能无法找到匹配项。HTML中的属性顺序可能与你的正则表达式不完全一致，或者属性之间的空格数可能不同。

2. **换行符问题**：如果`<table>`标签跨越了多行，而正则表达式没有使用`re.DOTALL`标志，`.`字符将不匹配换行符，导致正则表达式无法匹配跨行的标签。

3. **HTML内容不完整或有误**：如果HTML内容不完整或者有语法错误，正则表达式可能也会因为无法找到一个正确闭合的`<table>`标签而失败。

针对这些常见问题，你可以尝试以下解决策略：

- 确保正则表达式使用了`re.DOTALL`标志，以匹配跨行内容。
- 修改正则表达式，使其对空格和属性顺序更加宽容。例如，你可以使用`\s*`（匹配零个或多个空白字符）来代替直接的空格，并且不严格依赖属性的顺序。
- 检查HTML内容确保其完整性和正确性。

下面是一个调整过的示例，使用了`re.DOTALL`标志，并且对空格处理更加灵活：

```python
import re

# 假设html_content是你要搜索的HTML内容
html_content = """这里是其他HTML内容...
<table border="1" cellspacing="0" cellpadding="3" width="100%">表格内容...</table>
这里是更多HTML内容..."""

# 使用正则表达式匹配<table>标签，但更灵活地处理空格和属性顺序
pattern = r'<table\s+border\s*=\s*"1"\s+cellspacing\s*=\s*"0"\s+cellpadding\s*=\s*"3"\s+width\s*=\s*"100%"\s*>.*?</table>'

# 使用re.findall查找所有匹配项，记得使用re.DOTALL
matches = re.findall(pattern, html_content, re.DOTALL)

# 输出匹配的表格
for match in matches:
    print(match)
```

这个示例中，`\s+`和`\s*`用于匹配一个或多个、零个或多个空白字符，使得正则表达式能更灵活地匹配HTML中的`<table>`标签，即使属性之间的空格数量不一。