环境搭建
关于语言
对于网络爬虫来说,其本质就是发送http请求,然后提取网页的内容信息进行入库分析等操作,所以对于任何语言都可以构建爬虫应用。我曾经就用过C#、C++、Java、Swift、Golang、Python这些语言来编写爬虫应用。
总结来说,这里还是最推荐python,其优点就是学习简单,并且库十分全面,编写起代码来十分轻巧,另外python拥有丰富的机器学习库、数据处理库,如scikit-learn、numpy、pandas等等,可以用来处理我们爬取的数据。
本系列文章假设读者已经掌握了python语言的最基本语法,并有一定的编程基础。
关于代码编辑器
作为一门脚本语言,python代码不需要编译、链接等步骤,只需要使用python的解释器解释执行就好了,所以使用一个记事本就可以完成python的编码工作。不过为了更加高效的编写代码,程序员都会选择一款代码编辑器。
如果对于python很熟悉,不需要代码拼写提示等功能,其实使用常见的代码编辑器如Atom、Sublime Text 即可(当然如果配置插件,这些编辑器也可以有强大的代码提示功能,不过新手配置起来可能会遇到困难)。
如果需要代码提示,我感觉用的最舒服的还是JetBrains系列的Pycharm更好用一些。我本身也主要在用Pycharm。
关于浏览器
浏览器除了浏览网页以外,对爬虫开发者来说还可以对网页的Html元素、发送的HTTP请求进行分析。市面上基本上所有的浏览器都支持这两种功能,但是普遍来说用的最多的还是Chrome浏览器。
下面,我们首先通过Chrome浏览器下载一个weibo上的小视频,来学习如何用Chrome浏览器抓取网络请求。
用Chrome抓取网络请求
视频的链接:weibo.com/tv/v/FaOp9o…
打开Chrome浏览器后,我们可以首先打开一共空白页面,然后右键,选择检查。
点击检查后,可以看到弹出一个Dock窗口,为了方便查看页面内容,我习惯把这个Dock窗口放在右边。
在这个Dock窗口中,有很多个选项卡,在本系列教程中,主要使用到Elements和NetWork这两个,一个负责审查Html元素,一个负责记录网络请求。目前需要使用网络抓取功能,所以先跳到Network这个选项卡中。
下面,在浏览器中输入视频的链接并回车,就可以看到网页加载出来了,其中的网络请求也记录在了右边。
可以看到这些网络请求有html、css、js、图片等等,点击一个条目后都可以看到请求的详情,在这里面其中有一个请求大小很大,并且在一直增长,可以想象这就是我们正在观看的视频文件。
我们点击这个请求可以看到请求的真实链接地址,这个地址中还带了个mp4,显然就是我们正在观看的视频文件。
我们把链接复制下来,在一个新的Tab中输入链接后回车,可以看到已经把视频下载到了本地。
用本地的影音播放器打开,和线上的一模一样。
爬虫入门
学习了上面的小技巧,如果碰到你想下载的音乐、想下载的视频,通过这种方法就可以下载下来(当然优酷、爱奇艺这样的专门做视频的网站已经规避了这种方法)。
下面,将正式开始学习网络爬虫,本章将以nladuo.cn/scce_site/为例, 爬取它的通知公告的文本信息。
使用requests下载网页
网页主要由HTML、CSS、JavaScript代码以及图片等资源组成,其中HTML控制页面的结构,CSS控制页面的样式,JavaScript控制页面的逻辑。对于目前大部分的网站,我们要爬取的文本信息一般情况下都保存在HTML中。(也有些网站使用JavaScript来控制页面的结构和信息,HTML中不存在需要爬取的信息,我们将在反反爬虫篇再详细介绍这种情况。)
在python中,我们可以通过requests库来下载一个网页的html。比如说上面的这个链接,我们可以通过以下一行代码把网页信息下载下来,然后通过print打印它。
import requests
resp = requests.get("http://nladuo.cn/scce_site/")
print resp.content
复制代码
在运行代码前,请先使用pip安装requests库,使用以下命令即可完成对库的安装:
pip install requests
复制代码
运行代码后,可以看到显示出一堆html的标签。
在浏览器中,也是先下载这样的html页面,然后根据html代码的结构展示到显示屏中的。
网页结构
下面,我们来看看HTML如何对应到网页的结构中的,我们先打开这个网址然后使用chrome浏览器查看一下这个网页的结构,像上面的抓取网络请求一样,我们按下右键然后选择检查,并在右边弹出的选项卡中选择Elements项。
在Elements的左侧有个箭头,点击这个箭头后,箭头变为选中状态。箭头处于选中状态时,用鼠标滑动到左侧的网页中,可以看到右侧对应的html信息。
在上图中,可以看到新闻信息处在class为every_list的div标签中。展开div的class为every_list标签后,可以看到在class为list_title标签下面的a标签中,存放着新闻的链接(a.href),新闻的标题(a中间的文本);在class为list_time的标签中,存放了新闻发布的日期。
使用BeautifulSoup解析Html
那么,我们如何从HTML中提取这些文本呢?这里可以使用HTML解析库解析HTML的内容,常见的有BeautifulSoup,HtmlParser、PyQuery等等。
这里,我们选用BeautifulSoup,还是先用pip安装一下依赖。
pip install bs4
复制代码
在使用requests下载html后,我们把html传给一个BeautifulSoup对象后,即可对html进行解析,使用find查找指定元素。
import requests
from bs4 import BeautifulSoup
if __name__ == '__main__':
resp = requests.get("http://nladuo.cn/scce_site/")
# print(resp.content)
soup = BeautifulSoup(resp.content)
items = soup.find_all("div", {"class": "every_list"})
for item in items:
title_div = item.find("div", {"class": "list_title"})
title = title_div.a.get_text()
url = title_div.a["href"]
time = item.find("div", {"class": "list_time"}).get_text()
print(time, title, url)
复制代码
在上面代码中,使用find_all方法首先找到所有的class为every_list的div标签,然后对div进行遍历,逐个打印每个标签下面的list_title和list_time。(更详细的API,读者可以查阅BeautifulSoup的文档。)
运行上述代码后,成功打印出了新闻的基本信息。
至此,我们的第一个爬虫也就完成了。