大数据挖掘与分析——用八爪鱼爬虫采集百度搜索内容

大数据挖掘与分析

文章目录

• 前言
• 一、八爪鱼是什么？
• 二、数据采集步骤
  • 1.确定爬取网站内容范围
  • 2.制作采集数据流程
  • 3.调优
• 总结

---

前言

为了制作好看的词云，我们要准备分词和词频的素材。本文的目的是使用八爪鱼从百度搜索上爬取关键词为‘苏东坡’的相关内容，并在接下来制作对苏东坡评价的词云。

---

 

一、八爪鱼是什么？

八爪鱼是一款使用简单、功能强大的网络爬虫工具,完全可视化操作,无需编写代码,内置海量模板,支持任意网络数据抓取。免费版支持本地采集、有限数量的数据导出（基本上还算够用）；专业版支持云采集、24*7采集，大数据量导出，验证码识别等功能。本次采集我用的是免费版功能。

二、数据采集步骤

1.确定爬取网站内容范围

我准备采集的是百度新闻，输入关键词‘苏东坡’后搜索出的内容。计划采集数量为几百条新闻内容。

网址：http://news.baidu.com/

先来观察一下网页情况。

（1）注意百度新闻搜索出来的内容，点击单个链接后的网页，存在各个元素框架不同的问题。我的方案是提取网页的标题和全部文字内容。

（2）注意翻页，百度新闻翻页的特点是点击“下一页”。

2.制作采集数据流程

设计八爪鱼自定义采集流程，有两个关键点。一是循环点击下一页，设定多少次循环后停止；二是在每一页循环点击列表中10个网页的网址，进入每个网址后提取标题和文字内容。流程图中主要包括循环翻页和循环列表，描述如下：

提取详情页数据自动提取标题、正文等文章相关内容。

3.调优

实际运行时，发现虽然逻辑正确，却怎么也进入不了下一页，只能采集10条数据，经检查，八爪鱼软件自动给“下一页”的链接设置的Xpath地址和百度搜索中真实的下一页对应Xpath地址不一样。通过google浏览器开发者工具进入小指针，当页面处于第一页时，鼠标左键点击“下一页”按钮，右边对应部分高亮，出现：

右键点击高亮部分，复制Xpath，

得到“下一页”对应的Xpath地址是：//*[@id="page"]/div/a[10]。而当页面在第2页时，下一页的Xpath是//*[@id="page"]/div/a[11]，如果不注意这个问题，就会发生八爪鱼只能采集第一页数据。修改后，就可以自动采集数据了。

---

总结

八爪鱼的采集功能十分强大和完善，需要注意的是，要简单理解一下Xpath的意义，才能从网页页面上正确提取到相关的内容。