python中解析html中的meta（title,description,keywords）信息

html中的meta信息往往包含title,description,keywords,下面通过BeautifulSoup来解析meta信息

from bs4 import BeautifulSoup
from selenium import webdriver


def main():
    driver = webdriver.Chrome()
    driver.get('https://36kr.com/')
    html = driver.page_source
    soup = BeautifulSoup(html)
    title=soup.title.string
    description = soup.find(attrs={"name": "description"})['content']
    keywords = soup.find(attrs={"name": "keywords"})['content']
    print('title:', title)
    print('description:', description)
    print('keywords:', keywords)



if __name__ == '__main__':
    main()

见证结果的时候

title: 首页_36氪
description: 36氪为您提供创业资讯、科技新闻、投融资对接、股权投资、极速融资等创业服务，致力成为创业者可以依赖的创业服务平台，为创业者提供最好的产品和服务。
keywords: 创业,互联网创业,互联网创业项目

tips: 并不是所有的网站都可以解析到meta信息的