以前总是觉得,爬虫是个很高大上的东西,就像盗取别人的数据一样。现在才知道,爬虫能爬到的,都是网页上能看到的,说白了就是别人给你看的。
所谓爬虫,就是先获取网页的源代码,然后从源代码中筛选出自己想要的资源,比如网页上的图片、视频等文件,甚至网页上的文字。接下来,我们就用Python来爬取网页上的图片。
首先我们先获取网站的源码。
初学探索:用Python爬取网页上的资源
然后就是从万千的源码中解析出自己想要的资源了,我这里想要的是网站上的图片。
初学探索:用Python爬取网页上的资源
个人觉得,这个爬虫考验的,还是正则表达式的功底,怎么写好正则表达式,才能将所有想要的资源都解析出来,其他的都比较简单。
以下是我从网页上爬下来的部分图片。
初学探索:用Python爬取网页上的资源