所有的中文字符都是在html的各种标签之中,因此我们需要拿到html的整个文件。为此我们导入requests库,再者,我们需要去除标签将全部内容进行文本化,此处是中英文都有的文本,为此我们引入beautifulsoup,因为get_text方法使得我们可以获取所有文本。然后我们在用正则表达式获取其中的中文信息再存入文件中。
对于requests和beautifulsoup的包的引入,可以在网上寻找相关内容。
代码如下:
可以通过更改改变匹配信息d
来达到滤出各种我们所需要的内容和信息。
import re
import os
import io
import sys
import requests
from bs4 import BeautifulSoup
#导入一些必要的库
#两个参数,第一个传入网页url,第二个传入要保存的文件名
#这是一个取出网站中所有中文字符的程序
def pureCNte