网络爬虫(简称爬虫)是一种自动化程序,用于在互联网上自动抓取和收集数据。需要注意的是,爬虫技术涵盖的知识点相当广泛,本节旨在为大家提供爬虫技术最基础、最入门的介绍。我们不会深入探讨复杂的网页开发知识或高级爬虫技术,而是专注于让初学者能够轻松入门,快速掌握使用MATLAB进行简单的网络数据抓取的方法。
使用MATLAB进行爬虫操作,可以概括为以下两个简洁明了的步骤:
(1)利用MATLAB自带的webread函数轻松获取目标网页的源代码;
(2)借助正则表达式或其它的文本处理函数,从网页源代码中精准提取所需的数据信息。
只要遵循这两个步骤,即使没有任何网络数据抓取经验的初学者也能快速上手,实现MATLAB中的基础爬虫功能。接下来,我们将通过实际案例来详细讲解这些知识点,帮助大家更好地理解和应用。
注意:由于网站的地址、结构和布局可能会发生变化,我们后续展示的爬虫代码在未来可能无法正常工作。为了应对这种情况,本书备份了当前网站的HTML文件,大家可以在本章配套的代码压缩包内找到相应的文件夹。未来当网站发生变化时,大家可以使用fileread函数直接读取这些HTML文件来获取网页源代码。
注意:本节视频是单独录制的,可关注b站up主“清风教你学编程”,在主页中可以找到视频:使用MATLAB进行网络爬虫(选修内容,来自MATLAB入门课程第6章第4节)