【python系列】使用 BeautifulSoup 获取 meta 信息

获取title、description、keywords的信息。

代码

获取title信息

title = soup.title.string

获取description、keywords的信息

关键代码：

page = urllib2.urlopen(url)
charset = page.headers['Content-Type'].lower().split("charset=")[1]
content = page.read().decode(charset, "ignore").encode("utf-8",'ignore')
soup = BeautifulSoup(content)

description = soup.find(attrs={"name":"description"})['content']
keywords = soup.find(attrs={"name":"keywords"})['content']

注意有的网站并没有这两个信息，有时网站的keywords不为小写。

参考资料

1. Get data from the meta tags using BeautifulSoup