既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
(3)天气数据管理
(4)天气数据修改编辑
(5)系统注册登录界面
(6)数据采集页面
3、项目说明
随着科技技术的不断发展,人民物质生活质量不断提高,我们越来越关注身边的气象、空气等地理环境。对于普通居民我们会选择合适的气象进行出游,提高精神层面的生活质量;对于企业会关注气象变换状况,来定制相关的生产计划,来提高企业生产效率并降低生成过程中由气象造成的风险损失。从社会角度我们不难看出,气象时时刻刻影响我们的规划和生活,因此我们开发一套中国气象数据可视化系统,更加直观的呈现气象状况,是有必要的。
中国气象质量大数据展示与分析系统,通过使用python爬虫技术对中国气象数据进行实时获取,然后利用相关数据清洗以及数据库处理技术存入数据库,再通过Python Web框架也就是Flask框架进线系统后台数据接口开发,通过Echarts技术进行数据分析可视化展示以及通过LayUI前端技术开发后台数据管理页面从而来完成我们最终的中国气象数据可视化系统。
本文主要通过研究背景,对项目意义进线分析讨论;通过技术分析对项目技术架构选型进行敲定,根据系统需求分析和可行性分析来确定系统的主要功能结构。最后通过系统概要设计、数据库设计将设计的功能进行初步的建模。通过系统设计与实现以及测试阐述系统开发内容以及测试系统功能的正确性。从而最终完成系统的设计与实现。
关键词:数据可视化;Python;Echart;Flask;爬虫;气象
4、核心代码
from flask import Flask as _Flask, flash
from flask import request, session
from flask import render_template
from flask.json import JSONEncoder as _JSONEncoder, jsonify
import decimal
from flask_apscheduler import APScheduler
import service.users_data as user_service
import service.weathers_data as weathers_data
import service.view_data as view_data
import service.version_data as version_data
import service.slog_data as slog_data
from service import data_service
from spider.GetWeather import online
class JSONEncoder(_JSONEncoder):
def default(self, o):
if isinstance(o, decimal.Decimal):
return float(o)
super(_JSONEncoder, self).default(o)
class Flask(_Flask):
json_encoder = JSONEncoder
import os
app = Flask(__name__)
app.config['SESSION\_TYPE'] = 'filesystem'
app.config['SECRET\_KEY'] = os.urandom(24)
# -------------前台可视化大数据分析相关服务接口start-----------------
# 系统默认路径前台跳转
@app.route('/')
def main\_page():
count_data = data_service.count_data()
detail_data = data_service.detail_data()
weather_data = data_service.weather_category_data()
table_data = data_service.table_data()
wd_data = data_service.wd_category_data()
ws_data = data_service.ws_category_data()
aqi_data = data_service.aqi_category_data()
map_data = data_service.china_map_data()
return render_template("main.html", count_data=count_data, detail_data=detail_data, weather_data=weather_data,
table_data=table_data, wd_data=wd_data, ws_data=ws_data, aqi_data=aqi_data,
map_data=map_data)
# -------------前台可视化大数据分析相关服务接口end-----------------
# -------------后台管理模块相关服务接口start-----------------
# 登录
@app.route('/login', methods=['POST'])
def login():
if request.method == 'POST':
account = request.form.get('account')
password = request.form.get('password')
if not all([account, password]):
flash('参数不完整')
return "300"
res = user_service.get_user(account, password)
if res and res[0][0] > 0:
session['is\_login'] = True
session['role'] = res[0][1]
return "200"
else:
return "300"
# 登录页面跳转
@app.route('/admin')
def admin():
if session.get("is\_login"):
if session.get('role') == 0:
return render_template('index.html')
else:
return render_template('index1.html')
else:
return render_template('login.html')
@app.route('/logout')
def logout():
try:
session.pop("is\_login")
return render_template('login.html')
except Exception:
return render_template('login.html')
# 后台首页面跳转
@app.route('/html/welcome')
def welcome():
return render_template('html/welcome.html')
# 后台注册跳转
@app.route('/html/reg')
def html\_reg():
return render_template('reg.html')
# -----------------用户管理模块START-----------------
# 用户管理页面
@app.route('/html/user')
def user\_manager():
return render_template('html/user.html')
# 获取用户数据分页
@app.route('/user/list', methods=["POST"])
def user\_list():
get_data = request.form.to_dict()
page_size = get_data.get('page\_size')
page_no = get_data.get('page\_no')
param = get_data.get('param')
data, count, page_list, max_page = user_service.get_user_list(int(page_size), int(page_no), param)
return jsonify({"data": data, "count": count, "page\_no": page_no, "page\_list": page_list, "max\_page": max_page})
# 注册用户数据
@app.route('/user/reg', methods=["POST"])
def user\_reg():
get_data = request.form.to_dict()
name = str(get_data.get('username'))
account = str(get_data.get('account'))
password = str(get_data.get('password'))
company = "平台注册"
phone = " "
mail = " "
type = 1
return user_service.add_user(name, account, password, company, phone, mail, type)
# 添加用户数据
@app.route('/user/add', methods=["POST"])
def user\_add():
get_data = request.form.to_dict()
name = get_data.get('name')
account = get_data.get('account')
password = get_data.get('password')
company = get_data.get('company')
phone = get_data.get('phone')
mail = get_data.get('mail')
type = get_data.get('type')
return user_service.add_user(name, account, password, company, phone, mail, type)
# 修改用户数据
@app.route('/user/edit', methods=["PUT"])
def user\_edit():
get_data = request.form.to_dict()
id = get_data.get('id')
name = get_data.get('name')
password = get_data.get('password')
company = get_data.get('company')
phone = get_data.get('phone')
mail = get_data.get('mail')
type = get_data.get('type')
user_service.edit_user(id, name, password, company, phone, mail, type)
return '200'
# 删除用户数据
@app.route('/user/delete', methods=["DELETE"])
def user\_delete():
get_data = request.form.to_dict()
id = get_data.get('id')
user_service.del_user(id)
return '200'
# -----------------用户管理模块END-----------------
# -----------------系统版本管理模块START-----------------
# 系统版本管理页面
@app.route('/html/version')
def version\_manager():
return render_template('html/version.html')
# 获取系统版本
@app.route('/version/show', methods=["POST"])
def version\_show():
res = version_data.get_sys_version()
return jsonify({"data": res})
# 获取系统版本数据分页
@app.route('/version/list', methods=["POST"])
def version\_list():
get_data = request.form.to_dict()
page_size = get_data.get('page\_size')
page_no = get_data.get('page\_no')
param = get_data.get('param')
data, count, page_list, max_page = version_data.get_sys_version_list(int(page_size), int(page_no), param)
return jsonify({"data": data, "count": count, "page\_no": page_no, "page\_list": page_list, "max\_page": max_page})
# 新增系统版本数据
@app.route('/version/add', methods=["POST"])
def sys\_version\_add():
get_data = request.form.to_dict()
name = get_data.get('name')
version = get_data.get('version')
return version_data.add_sys_version(name, version)
# 修改系统版本数据
@app.route('/version/edit', methods=["PUT"])
def version\_edit():
get_data = request.form.to_dict()
id = get_data.get('id')
name = get_data.get('name')
version = get_data.get('version')
version_data.edit_sys_version(id, name, version)
return '200'
# 删除系统版本数据
@app.route('/version/delete', methods=["DELETE"])
def version\_delete():
get_data = request.form.to_dict()
id = get_data.get('id')
version_data.del_sys_version(id)
return '200'
# -----------------系统版本管理模块END-----------------
# -------------前台天气大数据页面相关服务接口start-----------------
# 城市天气数量统计
@app.route('/main/total')
def get\_total\_data():
return view_data.get_weathers_total_data()
# 城市空气SQL数量统计
@app.route('/main/aqi')
def get\_AQI\_data():
return view_data.get_AQI_total_data()
# 城市风力分布统计
@app.route('/main/ws')
def get\_ws\_data():
return view_data.get_ws_total_data()
# 城市风向分布统计
@app.route('/main/wd')
def get\_wd\_data():
return view_data.get_wd_total_data()
# 北京实时气温以及风俗变化
@app.route('/main/bgt')
def get\_bg\_data():
return view_data.get_bg_total_data()
![img](https://img-blog.csdnimg.cn/img_convert/50e83e231f37a1690a19c3b726ae98a4.png)
![img](https://img-blog.csdnimg.cn/img_convert/c0a01d6d6a4d6774758bec7c65675d85.png)
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**
[外链图片转存中...(img-PbXg5BbG-1715827629676)]
[外链图片转存中...(img-nn3OjkTL-1715827629677)]
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**