python实现关键字检索_基于Python的网络关键字热度获取工具的研究与实现

龙源期刊网

http://www.qikan.com.cn

基于

Python

的网络关键字热度获取工具的

研究与实现

作者：孟亚茹

姚凯学

安世博

来源：《电子技术与软件工程》

2018

年第

17

期

摘要

搜索指数，是以各大搜索网站海量网民行为数据作为基础的数据分析统计结果，是衡量词

条搜索热度的重要指标，对数据分析具有重要的参考价值。本文详细介绍了一个基于

Python

的网络关键字热度获取工具的研究与实现过程，用以获取现有指数平台的指数数据。文中以搜

狗指数、微信媒体指数为例，详细叙述了如何寻找

URL

入口、获取并解析数据、以及如何清

洗数据的技术与方法。测试结果表明，该爬虫工具可以准确地获取目标关键字在自定义时间段

内的指数热度情况，具有实用价值。

【关键词】

Python

爬虫

指数

数据获取

搜索指数，是指以网民的搜索行为为基础，对其搜索内容以及搜索次数进行统计分析，得

出的该目标关键字被搜索的频次。搜索指数不仅可以反映出某关键字在特定网站的搜索规模，

还可以反应出该时间段内热度涨跌态势，准确及时反映突发事件网络舆情的变化情况。搜索指

数的出现，对市场分析与决策具有重要且深远的意义。

网络爬虫（

Web Crawler

）技术是一种快速获取搜索指数相关信息的全新手段。本文在概

述网络爬虫关键技术的基础上，以

“

搜狗搜索

”

为研究对象，详细介绍了一款基于网络爬虫技术

的搜索指数获取工具的研究与实现。

1

关键技术

1.1 Python

爬虫

Python

是一款开源的，可以运行在任何主流操作系统中的解释性高级编程语言。

Python

简

洁的语法可以高效的节约开发者的开发时间以及开发成本。网络爬虫是用来获取网络数据的重

要工具。关于网络爬虫技术的研究不计其数。爬虫程序使用

Python

的一个重要因素，就是

Python

为爬虫开发提供了丰富的标准库以及强大的第三方库。爬虫程序完全模拟浏览器访问网

站的流程，首先使用

requests

库请求网站，得到网站所有的

HTML

数据，

Requests

的

Get

，

Post

等四种请求方式，包括了所有的

HTTP/HTPPS

的请求方式，比其他语言（

C

、

C++

、

Java

）方便快捷。然后辨别返回的结果，如果返回的是

HTML

格式的数据，则可以使用

lxml

库去解析网页，通过节点提取等一些常规方法，提取出真正需要的数据。如果返回的是

json

格