项目简介
项目通过爬取中国天气网的各个城市数据,然后保存到自己的数据库,然后通过python以及echart技术对这些数据进行初步分析以及可视化。项目采用B/S架构,通过浏览器即可访问。完善版本实现了所有可视化与后台数据进行关联,并且爬虫也进行了优化处理。
项目功能
系统拥有五大功能模块,应付各种设计场景,其中有可视化功能模块、版本管理功能模块、用户管理功能模块、实时气象数据管理功能模块、爬虫管理功能模块。同时我们针对管理员和普通用户有着不同菜单权限的控制。
项目技术
首先项目分为三大模块。
其一数据爬虫,通过python技术实现对网络数据的获取、解析、清洗并导入数据库;
其二数据可视化模块,通过Echarts技术对数据进行可视化展示分析,直观、美观、易懂的展示分析结果;
其三后台管理模块,通过Flask技术实现前后台交互,实现对系统数据库MySQL数据进行管理。
python爬虫技术、Flask后端框架、python、mysql数据库、echart大数据可视化、layui后台管理前端框架。
运行截图
代码示例
获取数据库连接
def get_conn():
# 建立连接
conn = pymysql.connect(host="localhost", user="root", password="xxxxxx", db="weather", charset="utf8")
# c创建游标A
cursor = conn.cursor()
return conn, cursor
关闭连接
def close_conn(conn, cursor):
if cursor:
cursor.close()
if conn:
conn.close()
执行sql
def query(sql, *args):
"""
:param sql:
:param args:
:return:
"""
conn, cursor = get_conn()
cursor.execute(sql, args)
res = cursor.fetchall()
conn.commit()
close_conn(conn, cursor)
return res
源码获取
源码、安装教程文档、项目简介文档以及其它相关文档已经上传到是云猿实战官网,可以通过下面官网进行获取项目!