这里和 获取链接略有不同,不是得到链接到url,而是获取每个链接的文字内容
#!/opt/yrd_soft/bin/python
import re
import urllib2
import requests
import lxml
from bs4 import BeautifulSoup
url = ‘http://www.baidu.com‘
#page=urllib2.urlopen(url)
page=requests.get(url).text
pagesoup=BeautifulSoup(page,‘lxml‘)
for link in pagesoup.find_all(name=‘a‘,attrs={"href":re.compile(r‘^http:‘)}):
print link.get_text()
原文:http://khaozi.blog.51cto.com/952782/1793077