python爬虫爬取页面链接

最新推荐文章于 2020-12-10 14:01:24 发布

小木头1209

最新推荐文章于 2020-12-10 14:01:24 发布

阅读量2k

点赞数

分类专栏： python学习文章标签： python 爬虫链接

本文链接：https://blog.csdn.net/jiasudu1234/article/details/69987950

版权

python学习专栏收录该内容

24 篇文章 1 订阅

订阅专栏

#coding=utf-8
from bs4 import BeautifulSoup
import lxml
import urllib
from urllib import request
url = 'http://ecpi.ggj.gov.cn/jndfgz/'#爬取页面

req=request.Request(url)
res=urllib.request.urlopen(req)
cont=res.read()
soup = BeautifulSoup(cont,'html.parser')

for link in soup.center.find_all('a'):#soup.ceter.find_all中，center为选取链接的外框
if 'href' in link.arrts:
print (link.attrs['href'])