本章我们将学习网络爬虫,其中包括学习Python中的BeautifulSoup库,它用于从网站中提取数据。
本章包含以下主题。
- 什么是网络爬虫。
- 数据提取。
- 从维基百科网站提取信息。
1 什么是网络爬虫
网络爬虫是指从网站提取数据的技术,该技术可以将非结构化数据转换为结构化数据。
网络爬虫的用途是从网站提取数据,提取的数据可以存储到本地文件并保存在系统中,也可以将其以表格的形式存储到数据库中。网络爬虫使用HTTP或Web浏览器直接访问万维网(WWW)。网络爬虫或机器人抓取网页的过程是一个自动化流程。
抓取网页的过程分为获取网页、提取数据。Web抓取程序可以获取网页,它是网络爬虫的必需组件。在获取网页后,就需要提取网页数据了。我们可以搜索、解析,并将提取的数据保存到表格中,然后重新整理格式。
2 数据提取
本节我们学习数据提取。我们可以使用Python的BeautifulSoup库进行数据提取。这里还需要用到Python库的Requests模块。
运行以下命令以安装Requests和BeautifulSoup库。
$ pip3 install requests$ pip3 install beautifulsoup4
2.1 Requests库
使用Requests库可以易懂的格式在Python脚本中使用HTTP,这里使用Python中的Requests库获取网页。Requests库包含不同类型的请求,这里使用GET请求。GET