python爬虫网站链接_python爬虫入门---第一篇：获取某一网站所有超链接

bs4 def getHTMLText(url):try:#获取服务器的响应内容，并设置最大请求时间为6秒

res = requests.get(url,timeout = 6)

#判断返回状态码是否为200

res.raise_for_status()

#设置真正的编码

res.encoding = res.apparent_encoding

#返回网页HTML代码

return res.text

except:

return '产生异常'

#目标网页

url = 'https://www.cnblogs.com/huwt/'

demo = getHTMLText(url)

#解析HTML代码

soup = BeautifulSoup(demo,'html.parser')

#模糊搜索HTML代码的所有标签

a_labels = soup.find_all('a')

#获取所有标签中的href对应的值，即超链接

for a in a_labels:

print(a.get('href'))