采集linux网卡到网页,beautifulsoup库简单抓取网页--获取所有链接例子

简介：

通过BeautifulSoup 的 find_all方法，找出所有a标签中的href属性中包含http的内容，这就是我们要找的网页的一级链接( 这里不做深度遍历链接)

并返回符合上述条件的a标签的href属性的内容，这就是我们要找的某个网页的所带有的一级链接

#!/opt/yrd_soft/bin/python

import re

import urllib2

import requests

import lxml

from bs4 import BeautifulSoup

url = 'http://www.baidu.com'

#page=urllib2.urlopen(url)

page=requests.get(url).text

pagesoup=BeautifulSoup(page,'lxml')

for link  in pagesoup.find_all(name='a',attrs={"href":re.compile(r'^http:')}):

#print type(link)

print link.get('href')