使用urllib和BeautifulSoup怕取维基百科的数据

最新推荐文章于 2024-09-18 20:39:31 发布

爱发白日梦的后端

最新推荐文章于 2024-09-18 20:39:31 发布

阅读量467

点赞数 1

文章标签： python

本文链接：https://blog.csdn.net/liufotian/article/details/53898687

版权

urllib是python3常用的一个网络链接库
BeautifulSoup是一个对文档操作的第三方库

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

#获取维基百科页面的数据
resp = urlopen('https://en.wikipedia.org/wiki/Main_Page').read().decode('utf-8')
#使用BeautifulSoup取解析维基百科页面
soup = BeautifulSoup(resp,'html.parser')

#使用正则表达式找出所有wiki字条
urlList = soup.findAll('a',href=re.compile('^/wiki/'))
for url in urlList:
    if not re.search('\.(jpg|JPG)$',url['href']):
        print(url.get_text(),'------','https://en.wikipedia.org' + url['href'])
    pass