python自动化配置路由器_基于Python的可配置自动化爬虫系统的设计与实现

基于

Python

的可配置自动化爬虫系统的设计与实现

龚莎

;

朱应钦

;

梁艳华

【期刊名称】

《电脑迷》

【年

(

卷

),

期】

2018(000)028

【摘要】

人类社会已经进入天大据时代

,

数据呈指数增长趋势

,

对于数据采集者

,

虽然可以采用成熟的爬虫框架构建爬虫系统

,

但构建过程复杂

,

仍然需要使用者重

复缩写大量程序代码

,

数据采集效率不高

.

系统基于

Python

语言和

Django

框架

技术

,

构建了一个可配置的自动化爬虫系统

,

用户可通过前端配置需构建的爬虫系

统参数

,

系统据此爬取对应信息入库

,

并为用户提供数据的打包下载

,

数据采集完

成后显示在前端

,

从而提高数据采集效率

.

【总页数】

1

页

(203)

【关键词】

Django;

可配置爬虫系统

;Python

【作者】

龚莎

;

朱应钦

;

梁艳华

【作者单位】

重庆大学城市科技学院电气信息学院

重庆永川

402167;

重庆大学

城市科技学院电气信息学院

重庆永川

402167;

重庆大学城市科技学院电气信息

学院

重庆永川

402167

【正文语种】

中文

【中图分类】

【相关文献】

1.

基于

Python

语言的自动化测试系统的设计与实现

[J],

黄建军

;

李宥谋

;

刘婧

;

周欢

2.

基于

Python

和

SIPp

的自动化压力测试系统设计和实现

[J],

信斌

;

王桂花