静态网页爬虫教程（3）文本的提取和保存

前面我们已经把文章的标题和超链接都提取出来了，看上去我们已经有能力把这些文章的内容全部提取出来了。但路要一步一步走，饭要一口一口吃，我们还是先来看一篇文章的内容是怎么提取和保存的吧。
首先还是先来看看文章的内容在哪里？依旧采用之前所说的办法，找到第一篇文章的链接， 可以看到链接是http://greenfinance.xinhua08.com/a/20200511/1935984.shtml
我们拿到这篇文章的文本

url='http://greenfinance.xinhua08.com/a/20200511/1935984.shtml'
req=requests.get(url)
req.encoding=requests.utils.get_encodings_from_content(req.text)
req.text

可以看到，文章的主要内容全部在红线标注的标签内：

我们利用正则表达式将内容从标签内取出：

文本内容提取完毕后，我们要将这部分内容存储起来。为了方便，我先设定一个要存储的文件夹路径。

import os
os.chdir(r'D:\绿色金融文本')

接着将文本内容存储起来，文件名就是这篇文章的标题
文章标题前面已经提取过了，就是第一篇，因为是以列表形式存储的，所以第一篇文章的标题就可以用retitle[0]来提取。另外，由于文本内容text1是列表，因此要将其转换为字符串，所以要用str()转换一下。
写文件的方式我们采用with open形式，这种方式的好处在于不用自己去关闭文件，比较省事。with open的用法请自行百度。

with open(retitle[0]+'.txt','w') as f:
    f.write(str(text1))

看看是不是在指定文件夹下已经多了个文件？

文件里的内容也正是前文中所提取到的内容

但仔细看看，似乎有点美中不足，内容里还是有些不需要的字符，我们可以使用re.sub()和replace()把它去掉，然后再来写入。

import requests
import re
url='http://greenfinance.xinhua08.com/a/20200511/1935984.shtml'
req=requests.get(url)
req.encoding=requests.utils.get_encodings_from_content(req.text)
req.text
text1=re.findall('<div id="ctrlfscont" class="article-content"><p>(.*?)</p></div>',req.text,re.S)
text1=re.sub('<p>|</p>|&ldquo;|&rdquo;','',str(text1).replace('\\n',''))
with open(retitle[0]+'.txt','w') as f:
    f.write(text1)

这回文章的内容中多余的字符就给去除了。
一篇文章的内容提取和存储我们就这样完成了，接下来我们要完成的是多篇文章内容的提取和存储，请继续浏览教程（4）。