运用urllib和BeautifulSoup简单爬取维基百科网址

#引入开发包
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

#请求URL并把结果用UTF-8编码
resp = urlopen("https://en.wikipedia.org/wiki/Main_Page").read().decode("utf-8")

#使用BeautifulSoup去解析
soup = BeautifulSoup(resp,"html.parser")

#获取维基百科所有以/wiki/开头的a标签的href属性
listUrls = soup.findAll('a',href=re.compile('^/wiki/'))

#输出所有的词条对应的名称和URL
for url in listUrls:
    #过滤——.jpg或JPG结尾和URL
    if not re.search("\.(jpg|JPG)$",url["href"]):
        #输出URL的文字和对应的链接
        #String 只能获取一个
        #get——text()获取标签下所有的文字
        print(url.get_text(),"<---->","https://en.wikipedia.org" + url["href"])

输出结果