学习日志1
活动地址:CSDN21天学习挑战赛
经过仔细学习后,为了能加深印象,我想利用今天的知识完成一个练习——利用正则表达式从网站获取古诗词。
详细代码——
先贴上代码以便讲解
import json
import requests
import re
import os
url='https://www.gushiwen.cn/default_'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.12151 SLBChan/103'}
ct=1;
for pagen in range(1,3):
new_url=url+str(pagen)+".aspx"
page_text=requests.get(url=new_url,headers=headers).text
#print(page_text)
ex= r"id=\"[\w]*\">([\w].*)https:.*</textarea>"
image_scr=re.findall(ex,page_text)
#print(image_scr)
for i in image_scr:
print(ct,":",i)
strg=str(ct)+":"+i+"\n"
fp = open("./古诗.txt", "a",encoding="utf-8")
fp.write(strg)
ct=ct+1
fp.close()
代码详解——
1.获取url:
为了获取古诗词,我找到了古诗文网。我们点开该网页滑倒底部,点击任意页数
此时我们得到带页数的url:https://www.gushiwen.cn/default_1.aspx
2.观察文本结构,写出正则表达式
右击网站页面,点击检查,点击元素,即可看到网站元素。
找到含有古诗词的文本部分,分析结构相同点
可以看到,诗词的前面紧连的是 clos row id 的数据,后面是一个链接,最后都以 </textarea> 结束。
有了这个共同规律,即可写正则表达式
ex= r"id=\"[\w]*\">([\w].*)https:.*</textarea>"
当然还有其它写法,可自己尝试。
3.正则表达式解析:
利用id定位前部,[\w]可匹配任一单词字符(包括下划线),*可匹配0个或多个表达式。利用http:定位中部。.*可以匹配https的具体内容。最后以</textarea>定位尾部。
4.应用re.findall找到所有目标文本内容
5.存储获取的古诗
将获取的古诗与序号连接以便查找,格式为 utf-8 ,为了分行,还要连接换行符
存储效果——