龙源期刊网
http://www.qikan.com.cn
基于
Python
的网络关键字热度获取工具的
研究与实现
作者:孟亚茹
姚凯学
安世博
来源:《电子技术与软件工程》
2018
年第
17
期
摘要
搜索指数,是以各大搜索网站海量网民行为数据作为基础的数据分析统计结果,是衡量词
条搜索热度的重要指标,对数据分析具有重要的参考价值。本文详细介绍了一个基于
Python
的网络关键字热度获取工具的研究与实现过程,用以获取现有指数平台的指数数据。文中以搜
狗指数、微信媒体指数为例,详细叙述了如何寻找
URL
入口、获取并解析数据、以及如何清
洗数据的技术与方法。测试结果表明,该爬虫工具可以准确地获取目标关键字在自定义时间段
内的指数热度情况,具有实用价值。
【关键词】
Python
爬虫
指数
数据获取
搜索指数,是指以网民的搜索行为为基础,对其搜索内容以及搜索次数进行统计分析,得
出的该目标关键字被搜索的频次。搜索指数不仅可以反映出某关键字在特定网站的搜索规模,
还可以反应出该时间段内热度涨跌态势,准确及时反映突发事件网络舆情的变化情况。搜索指
数的出现,对市场分析与决策具有重要且深远的意义。
网络爬虫(
Web Crawler
)技术是一种快速获取搜索指数相关信息的全新手段。本文在概
述网络爬虫关键技术的基础上,以
“
搜狗搜索
”
为研究对象,详细介绍了一款基于网络爬虫技术
的搜索指数获取工具的研究与实现。
1
关键技术
1.1 Python
爬虫
Python
是一款开源的,可以运行在任何主流操作系统中的解释性高级编程语言。
Python
简
洁的语法可以高效的节约开发者的开发时间以及开发成本。网络爬虫是用来获取网络数据的重
要工具。关于网络爬虫技术的研究不计其数。爬虫程序使用
Python
的一个重要因素,就是
Python
为爬虫开发提供了丰富的标准库以及强大的第三方库。爬虫程序完全模拟浏览器访问网
站的流程,首先使用
requests
库请求网站,得到网站所有的
HTML
数据,
Requests
的
Get
,
Post
等四种请求方式,包括了所有的
HTTP/HTPPS
的请求方式,比其他语言(
C
、
C++
、
Java
)方便快捷。然后辨别返回的结果,如果返回的是
HTML
格式的数据,则可以使用
lxml
库去解析网页,通过节点提取等一些常规方法,提取出真正需要的数据。如果返回的是
json
格