Python 网页节点统计

Python 网页节点统计

工具：Pycharm，win10，Python3.6.4

1.需求分析

我们现在有一个文件夹wp，里面包含了下图的子文件夹，每个文件夹里面又包含了网页，每个网页可能指向其他网页。总计有5000多个网页。我们要构建一个网络图统计每个网页的出度，入度。

2.实现代码

以第一个文件里面的第一个网页为例，我们要如何获取这个网页包含了哪些子链接。获取第一个网页，打开源码，搜索包含的子链接并判断是否是存在于5000多个网页中，存在则写入文本文件中。代码如下。

import re
import os

#获取所有htm文件
def get_all_htm_name():
    #所有htm文件的列表
    all_htms = []
    files_list = []
    for files in os.listdir('wp/'):
        for file in os.listdir('wp/'+files+'/'):
            all_htms.append('wp/'+files+