Python商业数据挖掘实战——爬取网页并将其转为Markdown_爬取网页的markdown格式

    self._markdown = ''

def convert(self, html, options=None):
    elements = []
    for tag, pattern in BlOCK_ELEMENTS.items():
        for m in re.finditer(pattern, html, re.I | re.S | re.M):
            element = Element(start_pos=m.start(),
                              end_pos=m.end(),
                              content=''.join(m.groups()),
                              tag=tag,
                              is_block=True)
            can_append = True
            for e in elements:
                if e.start_pos < m.start() and e.end_pos > m.end():
                    can_append = False
                elif e.start_pos > m.start() and e.end_pos < m.end():
                    elements.remove(e)
            if can_append:
                elements.append(element)

    elements.sort(key=lambda element: element.start_pos)
    self._markdown = ''.join([str(e) for e in elements])

    for index, element in enumerate(DELETE_ELEMENTS):
        self._markdown = re.sub(element, '', self._markdown)
    return self._markdown

@property
def markdown(self):
    self.convert(self.html, self.options)
    return self._markdown

_inst = Tomd()
convert = _inst.convert

这段代码是一个用于将HTML转换为Markdown的工具类。它使用了正则表达式来解析HTML标签，并根据预定义的转换规则将其转换为对应的Markdown格式。


代码中定义了一个`Element`类，用于表示HTML中的各个元素。`Element`类包含了标签的起始位置、结束位置、内容、标签类型等信息。它还提供了一个`parse_inline`方法，用于解析内联元素，并将其转换为Markdown格式。


`Tomd`类是主要的转换类，它接受HTML字符串并提供了`convert`方法来执行转换操作。`convert`方法遍历预定义的HTML标签模式，并使用正则表达式匹配HTML字符串中对应的部分。然后创建相应的`Element`对象并进行转换操作。最后，将转换后的Markdown字符串返回。


在模块顶部，`MARKDOWN`字典定义了各个HTML标签对应的Markdown格式。`BlOCK_ELEMENTS`和`INLINE_ELEMENTS`字典定义了正则表达式模式，用于匹配HTML字符串中的块级元素和内联元素。`DELETE_ELEMENTS`列表定义了需要删除的HTML元素。



> 
> 那么既然有了转markdown的工具，我们就可以对网页进行转换
> 
> 
> 


## 进行转换



> 
> 首先，`result_file`函数用于创建一个保存结果文件的路径。它接受文件夹的用户名、文件名和文件夹名作为参数，并在指定的文件夹路径下创建一个新的文件，并返回该文件的路径。
> 
> 
> `get_headers`函数用于从一个文本文件中读取Cookie，并将它们保存为字典形式。它接受包含Cookie的文本文件路径作为参数。
> 
> 
> `delete_ele`函数用于删除`BeautifulSoup`对象中指定的标签。它接受一个BeautifulSoup对象和待删除的标签列表作为参数，并通过使用该对象的select方法来选择要删除的标签，然后使用`d