python爬去百度百科词条_GitHub - leiphp/spider-baike: 简单爬虫框架： 爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(Bea...

实战案例爬取百度百科1000条词条数据

spider-baike

简单爬虫框架： 　爬虫调度器 -> URL管理器 -> 网页下载器(urllib2) -> 网页解析器(BeautifulSoup) -> 价值数据 实战案例爬取百度百科1000条词条数据

运行项目

先切换到myblog文件夹，输入以下命令运行项目

D:\github_projects\spider-baike python spider_main.py

运行后的数据保存到output.html

特性

该实例用的是Python3.7

Python有哪几种网页解析器：

正则表达式、html.parser、Beautiful Soup、lxml

BeautifulSoup：

- Python第三方库，用于从HTML或XML中提取数据

- 官网：http://www.crummy.com/software/BeautifulSoup/bs4/doc/

安装并测试beautifulsoup4：

- 安装：pip install beautifulsoup4

- 测试：import bs4

如果PyCharm无法识别beautifulsoup4，则在设置里找到Python Intercepter这一项，改为python2.7版本即可。

预览