比较全面的百度百科爬虫

课题需要，写了一个百度百科的爬虫，暂时不能全面获取页面的内容，但是相比网上的大部分爬虫已经比较全面了，以“尼米兹级航空母舰”为例，可以获取的内容包含以下几个部分：


用红色方框框出来的部分，包括：词条名称、描述、基本信息、第二级标题、正文描述。
本人的爬虫使用beautifulsoup4解析网页，一共分为三步

1. 下载页面，伪造header，通过Py自带的request工具打开网页，设置10秒超时；
2. 搜索关键词，关键词一般是中文，放到url中需要用Py自带的quote工具编码，默认第一条结果就是目标词条，根据标签<a class=result-title href=…>获取到词条的链接。
3. 获取词条内容，根据html标签逐一读取内容，将需要的信息存储到list中，