python是写爬虫最好的、也是最方便的语言,没有之一。在这里我给大家分享我爬取千千音乐网站歌曲的全过程。
整个过程分可为四大步:一、了解爬虫的本质;
二、利用谷歌浏览器分析http请求;
三、写代码前的准备工作;
四、 通过python实现请求;
一、爬虫的本质
既然要写爬虫,我们就得先了解什么是爬虫或者说爬虫的本质是什么。百度百科中给的解释有点生涩难懂,我个人的理解是:爬虫就是 模拟浏览器,访问互联网资源,根据我们自己制定的规则,批量地下载我们所需要的数据的程序。说白了它的本质就是模拟浏览器行为。比如说我们要访问一个网站,首先要输入网址对吧,然后点击各种按钮,登陆的时候要提交我们用户的数据等等,这些全部都是浏览器的行为。所以我们要想写爬虫,就肯定要知道浏览器的工作流程。
二、利用谷歌浏览器分析http请求
打开谷歌的浏览器,输入百度的网址就会展现百度首页这样一个网站,
其实它的背后是浏览器向百度网址https://www.baidu.com/ 发送http请求 ,然后浏览器会从服务器下载数据(如图片或者文字等),并将数据展示给用户。即我们在浏览器上所看到的所有信息都是浏览器从服务器下载得来。也就是说,如果我们想下载数据,我们只需要模仿浏览器向服务器发送http请求。
三、准备工作
对爬虫本质和下载数据http请求有了基础的了解后,接下来为写代码做准备工作。
1. 下载软件
编写python代码有多种软件可供选择,到底要安装哪一个看个人喜好。