用 Python 将微信热文转换成Word文档 | 神级操作

于 2020-11-24 12:00:00 发布
阅读量1.1k 收藏 5
点赞数 2
文章标签： html python css 数据可视化 oauth

不得不说微信公众号已经成为了一个开放平台，每天数以万计的微信公众号文章在这产生，我们关注一个微信公众号每天便可以看到新的文章，我们同时也不知不觉的将好的文章分享到给朋友。

那么如何保存一个好的文章呢？普遍选择收藏，然而在这里，我提供一个更巧妙的方法，直接转换成word文档保存在电脑里面。即便是以后文章404了，我们还可以看得到嘛。

1、微信热文源代码分析

一篇微信文章，url开头一定是https://mp.weixin.qq.com/s/，后面跟着一长串字符串，比如qLjifoyinoVN5i5vjW0f7w。

查看网页源代码，我们发现

微信热文的网页源代码很长，即便是上面的一个很简短的文章，但我们要从中提取到我们想要的东西，比如

<h2id="activity-name">普京再次出面</h2>

妥妥的文章题目，我们要把它保存为word文档，题目肯定少不了。

<div id="js_profile_qrcode"class="profile_container" style="display:none;">
 <div>
   <strong>环球时报</strong>
   <imgid="js_profile_qrcode_img" src="" alt="">
   <p>
     <label>微信号</label>
     <spanclass="profile_meta_value">hqsbwx</span></p>
   <p>
     <label>功能介绍</label>
     <span>报道多元世界 解读复杂中国</span></p>
 </div>

这里一下子就提示了这篇文章是那个微信号发布的，而且还有微信号的介绍，这也是我们需要的信息

<div id="js_content" style="visibility: hidden;">

这个就是正文的标签了，这个标签里面蕴含着正文，下面是正文的第一个标签，我们将它格式化一下，如下

我们发现p套了很多层，但是实际上，这第一个标签就这一句话是重点：“俄总统普京同纳卡冲突双方领导人举行电话会谈。”

下一个标签也是p，但是涵盖了好几句话。我们发现了span标签和strong标签。而且出现了很多次rgb()，我们知道rgb是代表标签内字体的颜色的。当然，strong是标签内加粗咯。

<img data-ratio="0.7717391304347826" data-s="300,640"data-type="jpeg" data-w="828" data-backw="578"data-backh="446" src="https://mmbiz.qpic.cn/mmbiz_jpg/qkQTRn2Z9NwC8nNHScsBAFeOFtHHb95ftWKOZve0QJMqJPFtoicdYO8uTWom8fBdG07icCKDo0FoyNjHUyoBibI2g/640?wx_fmt=jpeg"style="text-align: center;width: 660.994px;box-sizing: border-box!important;visibility: visible !important;"  />

另一个图片标签

<img data-ratio="1.345"src="https://mmbiz.qpic.cn/mmbiz_gif/wlCrBZoK8HF5AE2ibhItnFJgoIQBcJhTzO438azQniaRJRYNFk0CzlORnm0g1hG7HX3bhXAIC1J4E2XGb1WKA4qA/640?wx_fmt=gif"data-type="gif" data-w="200" style="vertical-align:middle;box-sizing: border-box;" />

这个是图片的标签，里面蕴含着很多重要的东西，比如，data-type="gif"，表明这是一个gif文件，src指向了图片的地址，data-w="200"，代表图片的宽度，这很重要。

格式化后的内容如下所示

标签套标签，让人眼花缭乱。

不过，还是一步一步来吧。

2、设计代码，步步分析

这一步我们需要开始编写代码了，python-docx是一个生成和处理docx的第三方库，使用pip install python-docx 一键下载

需要用到的第三方库有，python-docx，bs4（用于html解析处理）

from docx import Document
from docx.oxml.ns import qn
import re
from docx.shared import RGBColor,Inches,Pt
from urllib.request import urlopen,Request
from bs4 import BeautifulSoup
from docx.enum.text import WD_PARAGRAPH_ALIGNMENT
import io
from os.path import join



qingqiu={'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
      'Accept':'text/plain, text/html'
      }

编写一个简单的过滤函数，因为我们得到文章标题后，需要将文章标题中一些字符删去，比如换行符，空格，以及{}？

/|\等字符，因为含有这些字符的字符串不能做文件名

def guolv(text):
    t = re.sub('\s', '', text)
    t = re.sub('[?<>()[\]{}|]', '：', t)
    return t

假设微信url已经确定，在这里我们编写一个类，这个类专门用来处理的。

class WX_doc():
    def __init__(self, url, path):
        self.img_num = 0
        self.doc = Document()
        self.doc.styles['Normal'].font.name = '微软雅黑'
        self.doc.styles['Normal']._element.rPr.rFonts.set(qn('w:eastAsia'), '微软雅黑')
        self.url = url
        self.path = path

self.img_num是针对img处理的，每处理一个img，self.img_num+=1，请注意，最好设置好文章的字体，因为python-docx默认字体显示中文会比较难看……不信你可以去试试。当然也可以将字体设为宋体

url是指微信热文的链接，path是Word文档处理完后的保存路径。

接下来是一个插入一个标题的方法。

注：

我们设单独的def开头的为函数，包含在class内的def开头的为方法

def head(self, title, lv=3, size=13):
    p = self.doc.add_heading('', lv)
    p.paragraph_format.alignment = WD_PARAGRAPH_ALIGNMENT.CENTER
    r = p.add_run(title)
    r.font.name = '微软雅黑'
    r.font.color.rgb = RGBColor(0, 0, 0)
    r.font.size = Pt(size)
    r._element.rPr.rFonts.set(qn('w:eastAsia'), u'微软雅黑')

将标题插入后，设置为居中，颜色黑色，大小默认13，字体微软雅黑。

 

2、巧妙处理标签

对于正文来讲，标签套标签让人眼花缭乱，然而我们如何处理正文中的文字，图像甚至表格呢？

，对于标签套标签，我设计的思路是：

用对应的标签方法处理标签

hd = Request(self.url, headers=qingqiu)
a = urlopen(hd)
b = a.read()
bb = b.decode('UTF-8')
bs = BeautifulSoup(bb, 'lxml')
h2 = bs.find('h2', {'class': "rich_media_title"})
title = guolv(h2.text)
self.head(title, 2, 18)

pingtai = bs.find('strong', {'class': "profile_nickname"})
PMV=bs.findAll('span',{'class':'profile_meta_value'})
p = self.doc.add_paragraph()
r = p.add_run('%s' % pingtai.text)
r.font.bold = True
r.font.color.rgb = RGBColor(0, 191, 255)
r.font.size = Pt(12)
r=p.add_run('(%s: %s)'%(PMV[0].text,PMV[1].text))
r.font.size = Pt(9)

wb = bs.find('div', {'class': "rich_media_content"})

这样一处理，bs就是整篇微信文章的BeautifulSoup结构的html，这样处理就方便的多。

对于标题和发布者的，我们放到后面处理，现在要考虑正文的处理，wb就是正文的bs结构。

如何编写标签函数？我假定只关注字体的颜色和加粗，其余字体大小不考虑（这样的话保存的文章样式是一致的），使用RGB代表颜色，比如RGB=(0,0,0)就是纯黑了，bold代表加粗，bold=True就是加粗。

<p>标签

p代表段落，p标签内的文字会形成一个段。对应doc中的add_paragraph方法，接下来我们编写WX_doc的第一个标签处理方法。默认字体颜色黑色，不加粗。

def para(self, label):
    p = self.doc.add_paragraph('')
    for i in label:
        self.transit(i,p, (0, 0, 0), False)

这样就完了，主要操作就是，将p中每一个标签拿出来，交给transit函数处理，transit会针对相应的标签交给相应的标签方法。

但是如果出现这样的情况，p内含p，就像p一样一层套一层，那么需要另一个p处理方法

def para2(self,label,p,RGB,bold):
    "解决p内含p的情况"
    for i in label:
        self.transit(i,p, RGB, bold)

对于后面的标签处理方法，我们规定，需4个参数，第一个BeautifulSoup结构的标签label，第二个，所属的段落p，为doc.add_paragraph方法返回的段落p，第三个和第四个为RGB和bold。

<span>标签

Span标签出险率极高，基本上每段文字都会出现，我们假定span中的style设定文字的颜色。

比如这一段span

<spanstyle="letter-spacing: 1px;font-size: 16px;font-family: helvetica;color: rgb(123,12, 0);"><strong>普京与两国领导人讨论了本月9日三方签订的停火协议落实问题。各方对当前冲突接触线的平静局势感到满意。</strong></span>

多次观察后，编写的处理方法如下

def span(self, label, p, RGB, bold):
    attr = label.attrs.get('style')
    if attr:
        ys = re.findall('(?<=rgb\()[\s\S]+?(?=\))', attr)
    else:
        ys=[]
    if ys:
        rgb = re.findall('\d+', ys[0])
        r = int(rgb[0])
        g = int(rgb[1])
        b = int(rgb[2])
        RGB = (r, g, b)
    for i in label:
        if i.name == None:
            self.text(i,p, RGB, bold)
        elif i.name == "strong":
            self.strong(i,p, RGB, bold)
        else:
            self.transit(i,p, RGB, bold)

当BeautifulSoup结构下的标签结构为None时，它就是一段纯文字

 

Text 纯文字处理

处理纯文字用的方法，需要注意的是，要将文字中的换行符删去。

def text(self, i, p, RGB, bold):
    i=str(i)
    i=i.replace('\n','')
    r = p.add_run(i)
    r.font.bold = bold
    r.font.color.rgb = RGBColor(RGB[0], RGB[1], RGB[2])

<strong>标签

Strong就是加粗

def strong(self, label, p, RGB, bold):
    for i in label:
        if i.name == None:
            self.text(i,p, RGB, True)
        elif i.name == 'span':
            self.span(i,p, RGB, True)

<p>标签

Section常常会出现套叠的情况，即便是里面有字体颜色大小的指示，我还是以span指示的颜色为准。那么如何正确处理p便是一个难题。

<pstyle="font-family: -apple-system-font, BlinkMacSystemFont, &quot;HelveticaNeue&quot;, &quot;PingFang SC&quot;, &quot;Hiragino SansGB&quot;, &quot;Microsoft YaHei UI&quot;, &quot;MicrosoftYaHei&quot;, Arial, sans-serif;letter-spacing: 0.544px;white-space:normal;background-color: rgb(255, 255, 255);line-height: 1.5em;margin-left:0px;margin-right: 0px;">
        <span style="color: rgb(136,136, 136);font-family: helvetica;font-size: 14px;font-weight:700;letter-spacing: 1px;text-align: left;text-indent: 28px;widows: 1;">▲</span>
        <span style="color: rgb(136,136, 136);font-family: helvetica;font-size: 14px;font-weight:700;letter-spacing: 1px;text-align: left;text-indent: 28px;widows: 1;">俄总统网站声明截图</span></p>

上面的p中出现了span，所以思路来了，遍历p中的标签，如果出现span和stong，直接按段落处理

def p(self,label):
    for i in label:
        if i.name=='p':
            self.para(i)
        elif i.name in ['span','strong']:
            self.para(label)
            return 0
        elif i.name=='p':
            self.p(i)
        elif i.name in ['ul','ol']:
            self.ul2(i)
        elif i.name=='img':
            self.img(i)
        elif i.name in ['br','svg','center']:
            pass
        elif i.name=='blockquote':
            self.blockquote(i)
        elif i.name=='pre':
            self.pre(label)
        else:
            print('p中：%s:%s'%(i.name,str(i)))

最后else表示没有这个标签的处理函数，就提示这个标签的位置，以及名称，所含内容

 

<img>标签

我们知道img标签是图像，一篇文章加上图像可谓画龙点睛，现在很少出现没有图的文章了，正所谓有图有真相。

以下面两个图像为例

<img data-ratio="0.7717391304347826"data-s="300,640" data-type="jpeg" data-w="828"data-backw="578" data-backh="446"src="https://mmbiz.qpic.cn/mmbiz_jpg/qkQTRn2Z9NwC8nNHScsBAFeOFtHHb95ftWKOZve0QJMqJPFtoicdYO8uTWom8fBdG07icCKDo0FoyNjHUyoBibI2g/640?wx_fmt=jpeg"style="text-align: center;width: 660.994px;box-sizing: border-box!important;visibility: visible !important;"  />
<imgdata-ratio="1.345"src="https://mmbiz.qpic.cn/mmbiz_gif/wlCrBZoK8HF5AE2ibhItnFJgoIQBcJhTzO438azQniaRJRYNFk0CzlORnm0g1hG7HX3bhXAIC1J4E2XGb1WKA4qA/640?wx_fmt=gif"data-type="gif" data-w="200" style="vertical-align:middle;box-sizing: border-box;" />

我们发现data-w是设定图片的宽度，当图片过大的时候，需要将图片宽度设定好。Img处理函数如下

def img(self, label):
    src = label.attrs['src']
    da_s = label.attrs.get('data-s')
    data_type = label.attrs.get('data-type')
    data_w = label.attrs.get('data-w')
    self.img_num += 1
    a = urlopen(src)
    b = a.read()
    path = io.BytesIO(b)
    if da_s:
        num = re.findall('\d+', da_s)
        h = int(num[0]) // 75
        w = int(num[1]) // 75
        if w > 6:
            self.doc.add_picture(path, width=Inches(6))
        else:
            self.doc.add_picture(path, width=Inches(w), height=Inches(h))
    elif data_w:
        data_w = int(data_w)
        if data_w < 75:
            # 标签太小，直接忽略
            print('忽略太小图片%d.%s' % (self.img_num, data_type))
        elif data_w > 450:
            self.doc.add_picture(path, width=Inches(6))
        else:
            self.doc.add_picture(path, width=Inches(data_w / 75))
    else:
        self.doc.add_picture(path, width=Inches(6))
    print("图片%d打入成功!" % (self.img_num - 1))

transit方法

最后我们编写transit方法

def transit(self, label, p, RGB, bold):
    "本函数提供label的中转方案 其中br由中转方案解决"
    if label.name == 'span':
        self.span(label, p,RGB,bold)
    elif label.name == None:
        self.text(label, p,RGB,bold)
    elif label.name in ['strong','em']:
        self.strong(label, p,RGB,bold)
    elif label.name=='p':
        self.p(label)
    elif label.name =='p':
        self.para2(label,p,RGB,bold)
    elif label.name == 'img':
        self.img(label)
    elif label.name in ['br','svg','mpcpc','center']:
        pass
    elif label.name == 'a':
        self.link(label, p,RGB,bold)
    elif label.name == 'iframe':
        self.iframe(label, p)
    elif label.name == 'blockquote':
        self.blockquote(label)
    elif label.name == 'ul':
        self.ul(label, p)
    elif label.name=='pre':
        self.pre(label)
    else:
        print('p中:%s %s'%(str(label.name),str(label.text)))
        t = label.text
        if len(t) < 2:
            return 0
        r = p.add_run(t)
        r.font.bold = bold
        r.font.color.rgb = RGBColor(RGB[0], RGB[1], RGB[2])

transit函数要处理一个标签，如果已经编写好了这个标签方法，那么将这个标签交给对应的标签方法处理，如果没有，就提示这个标签的位置，以及名称，所含内容

 

main 核心处理

最后我们当然是处理并且转换成文档啦，加入文章标题，发布者，和内容，直接发完整代码吧，如下：

def main(self) -> None:
    hd = Request(self.url, headers=qingqiu)
    a = urlopen(hd)
    b = a.read()
    bb = b.decode('UTF-8')
    bs = BeautifulSoup(bb, 'lxml')
    h2 = bs.find('h2', {'class': "rich_media_title"})
    title = guolv(h2.text)
    self.head(title, 2, 18)
    pingtai = bs.find('strong', {'class': "profile_nickname"})
    PMV=bs.findAll('span',{'class':'profile_meta_value'})
    p = self.doc.add_paragraph()
    r = p.add_run('%s' % pingtai.text)
    r.font.bold = True
    r.font.color.rgb = RGBColor(0, 191, 255)
    r.font.size = Pt(12)
    r=p.add_run('(%s: %s)'%(PMV[0].text,PMV[1].text))
    r.font.size = Pt(9)

    wb = bs.find('div', {'class': "rich_media_content"})
    for i in wb:
        if i.name =='p':
            self.para(i)
        elif i.name=='p':
            self.p(i)
        elif i.name == 'blockquote':
            self.blockquote(i)
        elif i.name == 'table':
            self.table(i)
        elif i.name in[None,'center','hr']:
            pass
        elif i.name in ['h1', 'h2', 'h3','h4']:
            self.head(i.text, int(i.name[1]) + 1)
        elif i.name in ['ul','ol']:
            self.ul2(i)
        elif i.name == 'pre':
            self.pre(i)
        else:
            print("%s"%str(i))
    self.save_docx(title)
    wz_pa=join(self.path,title+'.docx')
    print('文档保存成功！保存路径：%s'%wz_pa)
    self.ok=False
    print(wz_pa)

3、实战测试

运行后输入微信url，结果如下：

保存下来的Word文档如下：

4、其他标签的处理说明

刚刚我们仅仅是编写了p，span，p，strong等标签，就可以对付一个简单的文章，但是实际上还有其他的标签，仅仅是这篇文章没出现而已。所以为了让这程序越来越好，我们需要添加一些标签处理的方法。

<blockquote>标签

Blockquote代表着引用，比如文章引用的哪句话，抄了哪些文献的句子，都用这个标签。为了和正文区别，我将字体大小设置为9默认颜色(100,100,100)

def blockquote(self, label):
    "定义一个摘自另一个源的块引用"
    p = self.doc.add_paragraph('')
    p.style.font.size = Pt(9)
    for i in label:
        self.transit(i,p,(100,100,100),False)

 

<iframe>标签

iframe标签出现代表着这篇微信热文嵌入了一个视频。

def iframe(self, label, p):
    t = '\n' + '*' * 20 + '\n一个视频\n链接是：%s\n' % label.attrs['src'] + '*' * 20 + '\n'
    r = p.add_run(t)
    r.font.size = Pt(10)
    print('发现一个视频，文档只能留下链接')

<ul>和<ol>标签

出现ul和ol是列举，比如列举1.…… 2.……，有两套方法，如果ul和ol是在<p>标签内，那么需要将它写在这个段落里面，使用ul，如果单独出现，使用ul2。

def ul(self, label, p):
    "零个或更多个 <li> 元素，可以混合使用 <ol> 与<ul> 元素。"
    lis = label.findAll('li')
    for i in lis:
        t = i.text
        r = p.add_run("   ★ %s\n" % t)
        r.font.size = Pt(9)

def ul2(self, label):
    p = self.doc.add_paragraph()
    lis = label.findAll('li')
    for i in lis:
        t = i.text
        r = p.add_run("● %s\n" % t)
        r.font.size = Pt(9)

<a>标签

<a>是链接，如果微信文章出现链接，转换为Word文档需要特殊一下，加上下划线，附上链接的url

def link(self, label, p, RGB, bold):
    "就是标签a"
    r = p.add_run(label.text)
    r.font.underline = True
    r.font.color.rgb = RGBColor(0,0,139)
    r.font.bold = bold
    href=label.attrs['href']
    r=p.add_run("(%s)"%href)
    r.font.color.rgb = RGBColor(135,206,250)
    r.font.size=Pt(9)
    r.font.underline = True

<table>标签

Table是表格，当出现这个的时候，就需要添加表格啦，这个方法只适合整齐的表格，有合并的无效

def table(self, label):
    "只适合整齐的表格，对于不整齐的（就是有合并）无效"
    pave = {'color': (0, 0, 0), 'bold': False}
    tr = label.findAll('tr')
    td = label.findAll('td')
    row = len(tr)
    col = len(td) // len(tr)
    if len(td) % len(tr) != 0:
        col += 1
    del td
    tab = self.doc.add_table(rows=row, cols=col, style='Table Grid')
    for i in range(row):
        tdlb = tr[i].findAll('td')
        for j in range(col):
            td = tdlb[j]
            dqcell = tab.cell(i, j)
            p = dqcell.paragraphs[0]
            for nr in td:
                if nr.name == 'p':
                    for nrr in nr:
                        self.transit(nrr, p, (0, 0, 0), False)
                else:
                    self.transit(nr, p, (0, 0, 0), False)

<pre>和<code>标签

Pre标签和code经常出现在一起，如果pre内含code，那么就是代码行了，交给code函数，如果pre单独出现，直接按照段落处理。Code处理，就是将文字，啊不是，是将代码框入到一个表格中，文字大小9，以示区别。

def pre(self,label):
    "pre分两种情况考虑，内嵌代码行和普通pre"
    code = label.findAll('code')
    if code:
        for i in code:
            self.code(i)
    else:
        self.para(label)

def code(self, label):
    "特殊标签，用于代码行"
    RGB = (0, 0, 0)
    bold = False
    tab = self.doc.add_table(rows=1, cols=1, style='Table Grid')
    p = tab.cell(0, 0).paragraphs[0]
    p.style.font.size = Pt(10)
    for i in label:
        if i.name == 'br':
            p.add_run('\n')
        elif i.name == 'span':
            self.span(i, p, RGB, bold)
        elif i.name == None:
            p.add_run(str(i))

加上了其他标签处理方法，那么我们需要将p、transit和main主函数修改一下了，加上对应的标签处理语句。

5、总结

1.  对于图像，gif动图导入Word文档后不会播放

2.  标签分类如下

核心标签：<p>，<strong>，<p>，<img>，<span>，<h1>,<h2>,<h3>……(这些标签可以用head方法处理)

其他标签：<blockquote>，<iframe>，<ul>和<ol>，<a>，<table>，<pre>，<code>……

忽略标签：<br>，<hr>，<mpcpc>（微信广告投放点），<center>，<svg>

3.  编写其他标签函数，如果你觉得新的标签方法需要增加，只需要加入新的标签方法，并且在transit和p以及main中加入它即可

4.  个性化设置你觉得合理的标签方法，只需改动标签方法源代码即可

往期推荐：
收藏 | 49 个 Python 学习资源

我都逛哪些技术网站？（程序员必备58个网站汇总）

肝！精心整理了 50 个数据源网站！
小詹学 Python
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值