软
件
开
发
大数据环境下基于
python
的网络爬虫技术
作者/谢克武,重庆工商大学派斯学院软件工程学院
摘要:随
着互联网的发展壮大,网络数据呈爆炸式增长,传统捜索引擎已经不能满足人们对所需求数据的获取的需求,作为搜索引擎的抓
取数据的重要组成部分,网络爬虫的作用十分重要,本文首先介绍了在大数据环境下网络爬虫的重要性,接着介绍了网络爬虫的概念,工
作原理,工作流程,网页爬行策略,
python
在编写爬虫领域的优势,最后设计了一个通用网络爬虫的框架,介绍了框架中模块的相互协作
完成数据抓取的过程。
关键词
:网络爬虫;
python
;
数据采集;大数据
引言
大数据背景下,各行各业都需要数据支持,如何在浩瀚
的数据中获取自己感兴趣的数据,在数据搜索方面,现在的
搜索引擎虽然比刚开始有了很大的进步,但对于一些特殊数
据搜索或复杂搜索,还不能很好的完成,利用搜索引擎的数
据不能满足需求,网络安全,产品调研,都需要数据支持,
而网络上没有现成的数据,需要自己手动去搜索、分析、提
炼
,格式化为满足需求的数据,而利用网络爬虫能自动完成
数据获取,汇总的工作,大大提升了工作效率。
1.利
用
python