Web Scraping爬虫 好友关系网 （1）通过BFS制作图、用Networkx 画可视化图表 关系网

初始化

介绍

1. 今天我们爬的是一个好友关系网。原网站：[http://py4e-data.dr-chuck.net/]
2. 我们可以看到的是每个人的好友列表。
3. 好友列表里，每个好友都是一个链接。（链接在html里超链接的tag是a）
4. 我们将从一个叫小F的人开始，查看他前五个好友，再点进去他前五个好友的链接里面找到这五个好友的好友。
5. 当我们找到足够多的人后，用networkx制作可视化的graph。
6. networkx的documentation文件：https://networkx.github.io/documentation/stable/reference/functions.html

安装包

import urllib.request, urllib.parse, urllib.error
from bs4 import BeautifulSoup
import ssl
import re
from collections import deque

ctx = ssl.create_default_context()
ctx.check_hostname=False
ctx.verify_mode=ssl.CERT_NONE

通过BFS创建一个Graph

1. 创建一个字典graph（dictionary）。每个人的名字就是一个key，value是一个list，list包括他所有的好友名字
2. 用BFS从root开始traverse，每次只将这个人前五个好友姓名放进我们的queue中
3. 只爬k个人。（我这里设置的是20）
4. 没有被“爬”到，但是是已经被爬到的人的好友的人，仍然放入我们的graph dictionary中，但是list是empty的。
5. 当爬完k个人，break the loop
6. 我们最后的graph的长度应该为100.

from collections import deque



graph = {
   } # 我们的graph


def create_graph(name,level): #name就相当于root 起始人名
    search_queue = deque() # deque是一个数据结构 适用于bfs（dfs用stack）
    search_queue.append(name) # 将我们找到的好友（邻居）都放入这个queue中
    searched = [] # 该数组用于记录检查过的人
    counter = 0 #用于控制我们爬的人数，这里我只爬20人。
    while search_queue: # 只要队列不为空
        if level == counter: #如果到了20人，就自动break
            break
        person = search_queue.popleft() # 就取出其中的第一个人
        if not person in searched: # 仅当这个人没检查过时才检查
            
            person_url = "http://py4e-data.dr-chuck.net/known_by_"+person+".html" #我们的r