Python 网页节点统计
工具:Pycharm,win10,Python3.6.4
1.需求分析
我们现在有一个文件夹wp,里面包含了下图的子文件夹,每个文件夹里面又包含了网页,每个网页可能指向其他网页。总计有5000多个网页。我们要构建一个网络图统计每个网页的出度,入度。
2.实现代码
以第一个文件里面的第一个网页为例,我们要如何获取这个网页包含了哪些子链接。获取第一个网页,打开源码,搜索包含的子链接并判断是否是存在于5000多个网页中,存在则写入文本文件中。代码如下。
import re
import os
#获取所有htm文件
def get_all_htm_name():
#所有htm文件的列表
all_htms = []
files_list = []
for files in os.listdir('wp/'):
for file in os.listdir('wp/'+files+'/'):
all_htms.append('wp/'+files+