基于python的网络舆情系统通用框架

一、前言

网络舆情是目前各类企业和机构研究的热点内容，舆情数据种类繁多衍生出各类舆情系统。舆情系统的数据来源可以通过数据网站进行购卖，更多的可以利用网络爬虫技术进行数据爬取。舆情系统整体上应具有数据采集、数据分析、信息预警等基本功能。利用python丰富的外部库可以快速进行系统的搭建及开发，笔者根据相关的项目经验设计了一套基于python的舆情通用框架，用于快速搭建舆情数据产品。

二、 系统总体框架

系统包括展示层、业务层、数据维护层、数据库四个模块。采用django作为web服务器框架，echarts作为数据的展示框架，mysql为数据库框架技术。
(一) 展示层
主要负责数和分析结果的展示及交付。展示层包含两个部分，第一部分是基于与平台的web页面数据展示模块。第二部分是邮寄预警模块。

(二) 业务层
业务层主要包括数据采集模块、数据清洗模块、分析建模模块、预警模块。
a) 数据采集模块是基于python/java的爬虫程序，涉及的主要技术包括：正则化表达式、Beautiful Soup 4包、Selenium、Xpath、网站破解、人工智能验证码识别、代理服务器地址库构建。数据采集模块负各大网站售票数据采集。
b) 清洗模块是基于python/java的数据处理程序，涉及的主要技术包括：pandas包、pymysql、numpy等。清洗模块负责数据格式规划化、统一化，以及部分