爬取新东方网的某课程答案文本，生成新的html文件

import requests
import re
'''
爬取新东方网的某课程答案文本，生成新的html文件，便于在word中编辑。
重要知识点：
1.万能解码代码
2.re.S匹配模式的使用

如果不使用re.S参数，则只在每一行内进行匹配，如果一行没有，就换下一行重新开始。
而使用re.S参数以后，正则表达式会将这个字符串作为一个整体，在整体中进行匹配。
'''
url_album = 'https://nce.koolearn.com/20150409/782593.html'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'}
#以下三行代码是万能网页转码方法，不用管编码的问题
r = requests.get(url=url_album, headers=headers)
r.raise_for_status()
r.encoding = r.apparent_encoding
r = r.text
# print(r)

#匹配符合条件的网址
pat_html = r'<a href="(http://nce\.koolearn\.com/.*?html)" target="_blank"'
htmls = re.compile(pat_html).findall(r)[2:]  #去除前两个无用的网址
print(htmls)
print(len(htmls))

for html in htmls:
	res = requests.get(url=html, headers=headers)
	#以下三行代码是万能网页转码方法，不用管编码的问题
	res.raise_for_status()
	res.encoding = res.apparent_encoding
	res = res.text
	# print(res)

	pat= r'<div class="xqy_core_main">(.*?)<style type="text/css"'
	txt = re.compile(pat,re.S).findall(res)[0]   #re.S为匹配回车行和各种空格
	print(txt)
	with open('xingannian.html','a+',encoding='utf-8') as f:
		f.write(txt)

正则表达式可以包含一些可选标志修饰符来控制匹配的模式。修饰符被指定为一个可选的标志。多个标志可以通过按位 OR(|) 它们来指定。如 re.I | re.M 被设置成 I 和 M 标志：
修饰符 描述
re.I 使匹配对大小写不敏感
re.L 做本地化识别（locale-aware）匹配
re.M 多行匹配，影响 ^ 和 $
re.S 使 . 匹配包括换行在内的所有字符
re.U 根据Unicode字符集解析字符。这个标志影响 \w, \W, \b, \B.
re.X 该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。