Python 爬取网页水务数据并实现智慧水务前端可视化

已于 2024-08-09 11:23:24 修改
阅读量944 收藏 30
点赞数 26
文章标签： python 前端 开发语言
于 2024-08-09 11:08:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43646281/article/details/141053994
版权

提示：本文爬取深圳市环境水务集团有限公司的公开数据作为数据样例进行数据分析与可视化。

文章目录

一、爬虫

爬虫是一种强大的数据获取工具，可以帮助我们自动化地收集互联网上的各种信息，为数据分析、数据挖掘等领域提供有力的支持。被称为网络爬虫或网页蜘蛛，是一种按照一定规则自动地抓取互联网信息的程序或脚本。Python 爬虫是一种利用 Python 编程语言编写的程序，用于自动地浏览万维网并从网页中提取数据。Python 因其简洁的语法、丰富的库支持和强大的社区支持，成为了实现爬虫项目的热门选择。
基本工作流程：

  1. 发起请求：通过HTTP库（如Python的requests库）向目标网站发送请求，获取网页内容。
  2. 获取响应：接收服务器的响应，通常是HTML格式的网页源代码。
  3. 解析网页：使用解析库（如Python的BeautifulSoup或lxml）对网页内容进行解析，提取出需要的数据（如文本、图片链接、视频链接等）。
  4. 存储数据：将提取出的数据存储到数据库或文件中，供后续处理或分析使用。
    重复以上步骤：根据需要，爬虫可以不断重复上述步骤，以获取更多数据或更新数据

注意事项

  1. 遵守 robots.txt：在编写爬虫时，请确保遵守目标网站的 robots.txt
    文件中的规则，以避免对网站造成不必要的负担或被视为恶意访问。
  2. 合理设置请求头：为了模拟浏览器访问，你可能需要设置 User-Agent 请求头。
    使用代理和延时：为了减少对目标网站服务器的压力，你可以考虑使用代理和设置请求之间的延时。
  3. 处理 JavaScript 渲染的内容：如果目标网页的内容是通过 JavaScript
    动态生成的，那么上述示例中的方法可能无法直接获取到这些内容。这时，你可以考虑使用像 Selenium 这样的工具来模拟浏览器行为。
  4. 法律和道德问题：在编写爬虫时，请确保你的行为符合当地的法律法规，并尊重网站的版权和隐私政策。

爬虫常用的库

网络请求库
urllib：Python3自带的库，提供了基本的URL请求和网页抓取功能。它是最简单的网络请求库，但功能相对基础。
requests：第三方库，建立在urllib3之上，提供了更加人性化的API。它简化了发送HTTP请求和处理响应的过程，是最常用的Python网络请求库之一。
Selenium：自动化测试工具，通过模拟用户在浏览器中的操作来抓取动态网页内容。它支持多种浏览器，如Chrome、Firefox等，适用于需要JavaScript渲染的页面。

网页解析库
Beautiful Soup：第三方库，用于解析HTML和XML文档。它提供了从网页中提取数据的简便方法，支持多种解析器，如Python标准库中的html.parser和lxml。
lxml：第三方库，支持HTML和XML的解析，并且提供了XPath和CSS选择器的支持。它的解析效率非常高，是处理大型网页数据的理想选择。
pyquery：第三方库，类似于jQuery的Python实现，能够以jQuery的语法来操作解析HTML文档。它对于熟悉jQuery的开发者来说非常友好。

异步及并发库
asyncio：Python标准库（Python 3.4+），提供了异步I/O、时间循环、协同程序和任务等功能。结合aiohttp等异步HTTP库，可以高效地处理大量并发请求。
concurrent.futures：Python标准库，为调用异步执行提供了一个高层次的接口。它支持ThreadPoolExecutor和ProcessPoolExecutor，可以分别用于I/O密集型和CPU密集型任务的并发执行。
aiohttp：基于asyncio实现的HTTP框架，支持异步操作。它提供了与requests类似的API，但具有更高的效率和更好的并发性能。

爬虫框架
Scrapy：一个高级的Web抓取框架，用于从高度复杂的网站中抓取数据。它提供了强大的编码支持、选择器引擎和爬虫引擎，并且支持多种数据库后端和消息队列。Scrapy的学习曲线可能较陡峭，但一旦掌握，可以高效地处理各种爬取任务。
PySpider：一个由国人编写的强大的网络爬虫系统，带有强大的WebUI、脚本编辑器、任务监控器、项目管理以及结果处理器。它支持多种数据库后端和消息队列，并且可以渲染JavaScript页面。
Crawley：一个高速爬取对应网站内容的框架，支持关系和非关系数据库，数据可以导出为JSON、XML等格式。但需要注意的是，Crawley并不是一个广为人知的爬虫框架，可能在使用和社区支持方面存在限制。

其他常用库
fake-useragent：用于生成随机的User-Agent字符串，以模拟不同设备的浏览器请求，有助于绕过一些简单的反爬虫机制。
re：Python标准库，提供了正则表达式的支持。虽然它本身不是爬虫库，但在处理网页数据时经常用于文本匹配和提取。

从深圳市水务局的网站上获取污水处理数据

# -*- codeing = utf-8 -*-
# @Time : 2022/11/29 15:32
# @Author : 小马
# @File: GetData.py
# @Software : PyCharm
#从深圳市水务局获取到深圳各个区的污水处理数据
import urllib.request,urllib.error
import pymysql
import re
from bs4 import BeautifulSoup
import xlwt

findaddress=re.compile(r'<a href="(.*)" target="_blank">20(.*)</a>')
finddataset=re.compile(r'<p style="text-align: center;"><strong>(.*?)</strong></p>')
finddataset2020=re.compile(r'<p style="text-align: left;"><strong>(.*?)</strong></p>')
baseurl="http://swj.sz.gov.cn/xxgk/zfxxgkml/szswgk/tjsj/psgltj/"
#元特区 福田区 罗湖区 盐田区 南山区 宝安区 大鹏新区 龙宝区 龙华区 坪山区 光明区
def ask(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Core/1.94.178.400 QQBrowser/11.2.5170.400"}
    request = urllib.request.Request(url=url, headers=headers)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):  # hasattr() 函数用来判断某个类实例对象是否包含指定名称的属性或方法。
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
    return html
def getaddress(baseurl):
    addressList=[]
    htmll=ask(baseurl)
    soup=BeautifulSoup(htmll,"html.parser")
    for item in soup("a",target="_blank"):
        item=str(item)
        add=re.findall(findaddress,item)
        if(len(add)>0):
            addressList.append(add[0][0])
    return addressList
def get2021():  url="http://swj.sz.gov.cn/xxgk/zfxxgkml/szswgk/tjsj/psgltj/content/post_9685824.html"
    html=ask(url)
    soup=BeautifulSoup(html,"html.parser")
    year="2021"
    districtList=[]
    districtname=[]
    sum1=[]
    sum2=[]
    for i in soup.tbody:
        i=str(i)
        data=re.findall(finddataset,i)
        if(len(data)>0):
            if(len(data)==1):
                districtname.append(data[0])
            if(len(data)==3):
                sum1.append(data[1])
                sum2.append(data[2])
    # for item in soup("p",style="text-align: center"):
    #     print(item)
    # for i in districtname:
    #     print(i)
    # for i in sum1:
    #     print(i)
    # for i in sum2:
    #     print(i)
    for i in range(0,7):
        district = []
        district.append(year)
        district.append(districtname[i])
        district.append(sum1[i])
        district.append(sum2[i])
        districtList.append(district)
    return districtList
def get2020():    url="http://swj.sz.gov.cn/xxgk/zfxxgkml/szswgk/tjsj/psgltj/content/post_8666858.html"
    html = ask(url)
    soup = BeautifulSoup(html, "html.parser")
    year = "2020"
    districtList = []
    districtname = []
    sum1 = []
    sum2 = []
    for i in soup.tbody:
        i = str(i)
        data = re.findall(finddataset2020, i)
        if (len(data) > 0):
            if (len(data) == 1):
                districtname.append(data[0])
            if (len(data) == 3):
                sum1.append(data[1])
                sum2.append(data[2])
    for i in range(0,2):
        district = []
        district.append(year)
        district.append(districtname[i])
        district.append(sum1[i])
        district.append(sum2[i])
        districtList.append(district)
    district = []
    district.append(year)
    district.append("盐田区")
    district.append(12)
    district.append(3003.25)
    districtList.append(district)
    for i in range(4,10):
        district = []
        district.append(year)
        district.append(districtname[i])
        district.append(sum1[i])
        district.append(sum2[i])
        districtList.append(district)
    return districtList
def get2019():
    url="http://swj.sz.gov.cn/xxgk/zfxxgkml/szswgk/tjsj/psgltj/content/post_8123700.html"
    html = ask(url)
    soup = BeautifulSoup(html, "html.parser")
    year = "2019"
    districtList = []
    districtname = []
    sum1 = []
    sum2 = []
    for i in soup.tbody:
        i = str(i)
        data = re.findall(finddataset2020, i)
        if (len(data) > 0):
            if (len(data) == 1):
                districtname.append(data[0])
            if (len(data) == 3):
                sum1.append(data[1])
                sum2.append(data[2])
    for i in range(0,7):
        district = []
        district.append(year)
        district.append(districtname[i])
        district.append(sum1[i])
        district.append(sum2[i])
        districtList.append(district)
    return districtList
def initdb(sql):
    db=pymysql.connect(host="localhost",user="root",password="root",port=3307,database="student",charset='utf8')
    try:
        cursor=db.cursor()
        data=cursor.execute(sql)
        print(data)
        result=cursor.fetchall()
        for i in result:
            print(i)
        db.commit()
    except Exception as e:
        db.rollback()
        print(str(e))
    finally:
        db.close()
def usedb():
    a=get2021()
    for item in a:
           item[1]='"'+item[1]+'"'
           sql = "insert into sewage (year,district,scale,sewagetreatment)values(%s,%s,%s,%s)"%(item[0],item[1],item[2],item[3])
           initdb(sql)
    b=get2020()
    for item in b:
        item[1] = '"' + item[1] + '"'
        sql = "insert into sewage (year,district,scale,sewagetreatment)values(%s,%s,%s,%s)" % (item[0], item[1], item[2], item[3])
        initdb(sql)
    c=get2019()
    for item in c:
        item[1] = '"' + item[1] + '"'
        sql = "insert into sewage (year,district,scale,sewagetreatment)values(%s,%s,%s,%s)" % (item[0], item[1], item[2], item[3])
        initdb(sql)
def getDatafromDB():
    sql="select * from sewage"
    db = pymysql.connect(host="localhost", user="root", password="root", port=3307, database="student", charset='utf8')
    try:
        cursor = db.cursor()
        data = cursor.execute(sql)
        result = cursor.fetchall()
        db.commit()
    except Exception as e:
        db.rollback()
        print(str(e))
    finally:
        db.close()
    return result
def getDatafrom(sql):
    db = pymysql.connect(host="localhost", user="root", password="root", port=3307, database="student", charset='utf8')
    try:
        cursor = db.cursor()
        data = cursor.execute(sql)
        result = cursor.fetchall()
        db.commit()
    except Exception as e:
        db.rollback()
        print(str(e))
    finally:
        db.close()
    return result
if __name__=="__main__":
    sql = "select sum(sewagetreatment) from sewage where year=2019"
    sql1 = "select sum(sewagetreatment) from sewage where year=2020"
    r=getDatafrom(sql)
    q=getDatafrom(sql1)
    print(int(r[0][0]))
    print(int(q[0][0]))

二、对爬取的数据进行数据库、excel的存储与数据处理

必要性：对爬取的数据进行数据库、Excel的存储与数据处理是数据分析和挖掘过程中非常重要的一步，爬取的数据通常是从网页或其他来源临时获取的。如果不进行存储，一旦程序关闭或数据源更新，这些数据就会丢失。通过将其存储在数据库或Excel文件中，可以确保数据的持久化，即数据可以长期保存并随时访问。存储在数据库或Excel中的数据可以轻松地通过SQL查询、Excel函数或数据分析工具（如Python的pandas库）进行进一步的分析和挖掘。这有助于发现数据中的模式、趋势和关联，从而支持决策制定和业务洞察。在将数据存储到数据库或Excel之前，通常需要进行一系列的数据处理和清洗工作，如去除重复数据、处理缺失值、转换数据类型和格式等。这些工作有助于确保数据的准确性和一致性，为后续的分析和挖掘提供可靠的数据基础。

1.代码实现

# -*- codeing = utf-8 -*-
# @Time : 2022/11/9 19:46
# @Author : 小马
# @File: Methods.py
# @Software : PyCharm

import sqlite3
import xlrd
import xlwt
#从月度总水量表中获得数据并将数据插入到数据表WaterConsumption中
def CreateWaterConsumption():
    dbpath = "water.db"
    sql = '''
            create table WaterConsumption
            (
            id integer primary key autoincrement,
            date text,
            Machine1 text,
            Machine2 text,
            Machine3 text,
            Machine4 text,
            Machine5 text,
            Machine6 text,
            totaltime text,
            totalwater text,
            totalconsumption text
            )
            '''
    conn = sqlite3.connect(dbpath)
    cur = conn.cursor()
    cur.execute(sql)

    conn.commit()
    cur.close()
    conn.close()
def searchall():
    datalist = []
    con = sqlite3.connect("water.db")
    cur = con.cursor()
    sql = "select date,Machine1,Machine2,Machine3,Machine4,Machine5,Machine6,totaltime from WaterConsumption"
    data = cur.execute(sql)
    for item in data:
        datalist.append(item)

    cur.close()
    con.close()
    return datalist
def searchMachine():
    m1=[]
    m2=[]
    m3=[]
    m4=[]
    m5=[]
    m6=[]
    con = sqlite3.connect("water.db")
    cur = con.cursor()
    sql1 = "select Machine1,Machine2,Machine3,Machine4,Machine5,Machine6 from WaterConsumption"
    data1 = cur.execute(sql1)
    for item in data1:
        m1.append(item[0])
        m2.append(item[1])
        m3.append(item[2])
        m4.append(item[3])
        m5.append(item[4])
        m6.append(item[5])
    cur.close()
    con.close()
    return m1,m2,m3,m4,m5,m6
def searchDateAndWater():
    date=[]
    wate=[]
    con = sqlite3.connect("water.db")
    cur = con.cursor()
    sql = "select date,totaltime from WaterConsumption"
    data = cur.execute(sql)
    for item in data:
        date.append(item[0])
        wate.append(item[1])


    cur.close()
    con.close()
    return date,wate

def ReadExcel():

    conn=sqlite3.connect("water.db")
    cur=conn.cursor()
    data=xlrd.open_workbook("月度总用水量.xls")
    sheet=data.sheet_by_name("Sheet1")
    for i in range(1,sheet.nrows):
        sql = '''insert into WaterConsumption(date,Machine1,Machine2,Machine3,Machine4,Machine5,Machine6,totalconsumption,totaltime,totalwater)values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)'''%(sheet.row(i)[0].value, sheet.row(i)[1].value, sheet.row(i)[2].value,sheet.row(i)[3].value,sheet.row(i)[4].value,sheet.row(i)[5].value,sheet.row(i)[6].value,sheet.row(i)[7].value,sheet.row(i)[8].value,sheet.row(i)[9].value)
        cur.execute(sql)
        conn.commit()
    cur.close()
    conn.close()


    #创建WaterConsumption水量消耗表格

#将注册手机号,邮箱,密码插入到数据库中
def InsertIntoTable(p,pa,e):
    sql = '''insert into UserTable(phonenumber,password,email,isdeleted)values(%s,%s,%s,0)'''%(p,pa,e)
    conn=sqlite3.connect("water.db")
    cur=conn.cursor()
    cur.execute(sql)
    conn.commit()
    cur.close()
    conn.close()
#根据手机号查询密码和逻辑删除来实现登陆功能
def SelectFromTable(p):
    sql='''select password from UserTable where phonenumber=%s and isdeleted=0'''%p
    conn=sqlite3.connect("water.db")
    cur=conn.cursor()
    pa=cur.execute(sql)
    result=pa.fetchone()
    conn.commit()
    cur.close()
    conn.close()
    return result[0]

#创建数据库并建表
def CreateTableAndDataBase():
    dbpath="water.db"
    sql='''
    create table UserTable
    (
    id integer primary key autoincrement,
    phonenumber text,
    password text,
    email text,
    isdeleted integer
    )
    '''
    conn=sqlite3.connect(dbpath)
    cur=conn.cursor()
    cur.execute(sql)
    conn.commit()
    cur.close()
    conn.close()
def deleteTable():
    dbpath = "water.db"
    sql = '''
            drop table WaterConsumption
            '''
    conn = sqlite3.connect(dbpath)
    cur = conn.cursor()
    cur.execute(sql)
    conn.commit()
    cur.close()
    conn.close()
#将数据写入excel表格
def exportTo():

    data = xlrd.open_workbook("月度总用水量.xls")
    sheet = data.sheet_by_name("Sheet1")
    # #for i in range(1, sheet.nrows):


    workbook = xlwt.Workbook(encoding="UTF-8")  # 创建workbook对象   一个文件
    worksheet = workbook.add_sheet('sheet1')

    for i in range(0,10):
        worksheet.write(0,i,sheet.row(0)[i].value)
    for i in range(1, sheet.nrows):
        for j in range(0, 10):
           worksheet.write(i, j, sheet.row(i)[j].value)
    workbook.save('C:/Users/DELL/Downloads/月度总用水表.xls')
def searchSumSix():
    datalist=[]
    sql="select sum(Machine1),sum(Machine2),sum(Machine3),sum(Machine4),sum(Machine5),sum(Machine6) from WaterConsumption"
    dbpath = "water.db"
    conn = sqlite3.connect(dbpath)
    cur = conn.cursor()
    data=cur.execute(sql)
    for item in data:
      datalist.append(item)
    conn.commit()
    cur.close()
    conn.close()
    return datalist

if __name__=='__main__':
    d=searchSumSix()
    print(int(d[0][0]))
    print(d[0][1])


# -*- codeing = utf-8 -*-
# @Time : 2022/11/12 16:50
# @Author : 小马
# @File: Service.py
# @Software : PyCharm

#代价
import xlrd2


#将供水管网维修记录表中的信息插入到数据库中
def ReadAndAnalysisExcel():
    datelist=[]
    data = xlrd2.open_workbook("供水管网维修记录.xls")
    sheet = data.sheet_by_name("新交叉表_供水管网")
    for i in range(1,476):
        if(sheet.row(i)[7].value == "是"):
           date="2021-"+(sheet.row(i)[0].value)[4:6]+"-"+(sheet.row(i)[0].value)[6:8]
           datelist.append(date)
    return datelist

#其他、第三者/人为、非我司管辖范围 外腐蚀 自然老化 施工质量
def ReadAndAnalysisQuestion():
    result=[]
    a=0
    b=0
    c=0
    d=0
    e=0
    f=0
    datelist = []
    data = xlrd2.open_workbook("供水管网维修记录.xls")
    sheet = data.sheet_by_name("新交叉表_供水管网")
    for i in range(1,sheet.nrows):
        if(sheet.row(i)[3].value=="其他"):
            a=a+1
        elif(sheet.row(i)[3].value=="第三者/人为"):
            b=b+1
        elif (sheet.row(i)[3].value == "非我司管辖范围"):
            c = c + 1
        elif (sheet.row(i)[3].value == "外腐蚀"):
            d = d + 1
        elif (sheet.row(i)[3].value == "自然老化"):
            e = e + 1
        elif (sheet.row(i)[3].value == "施工质量"):
            f = f + 1
    result.append(a)
    result.append(b)
    result.append(c)
    result.append(d)
    result.append(e)
    result.append(f)
    return result


if __name__=='__main__':
    r=ReadAndAnalysisQuestion()
    print(r[1])

三、应用Flask框架将后端获取数据后渲染到前端

Flask 是一个非常适合初学者和经验丰富的开发者使用的 Web 框架，它简洁而强大，能够帮助你快速构建出高质量的 Web 应用。

Flask的安装：

pip install Flask

Flask 的特点
轻量级：Flask 核心非常简洁，易于扩展。
灵活：你可以自由地选择数据库、模板引擎等。
WSGI 兼容：Flask 遵循 WSGI（Web Server Gateway Interface）标准，可以与多种服务器兼容。
开发便捷：内置的开发服务器和调试器让开发变得简单快捷。
社区支持：由于 Flask 的流行，其社区非常活跃，提供了大量的插件和扩展。

简单实例：

from flask import Flask  
  
app = Flask(__name__)  
  
@app.route('/')  
def hello_python():  
    return 'Hello, Python!'  
  
if __name__ == '__main__':  
    app.run(debug=True)

具体实现

# -*- codeing = utf-8 -*-
# @Time : 2022/11/8 10:44
# @Author : 小马
# @File: app.py
# @Software : PyCharm
import GetData
from flask import Flask,render_template
from flask import request
import sqlite3
import Methods
import json
import Service

app=Flask(__name__)
@app.route('/',methods=['GET','POST'])
def login():
    data=request.get_data()
    if(len(data)>0):
      print(data)
      phonenumber = request.form.get('phonenumber')
      password = request.form.get('password')
      p = '"' + phonenumber + '"'
      password1=Methods.SelectFromTable(p)
      if(password==password1 or password is password1):
          return render_template("index.html")
      else:
          print(password)
          print(password1)

    return render_template("login.html")
@app.route('/forgotpassword')
def forgot():
    return render_template("forgot-password.html")
@app.route('/index')
def index():
    return render_template("index.html")

@app.route('/utilities-animation')
def animation():
    result=GetData.getDatafromDB()
    sql = "select sum(sewagetreatment) from sewage where year=2019"
    sql1 = "select sum(sewagetreatment) from sewage where year=2020"
    sql2="select sum(sewagetreatment) from sewage where year=2021"
    r = GetData.getDatafrom(sql)
    q = GetData.getDatafrom(sql1)
    l = GetData.getDatafrom(sql2)
    return render_template("utilities-animation.html",data=result,d1=int(r[0][0])/1000,d2=int(q[0][0])/1000,d3=int(l[0][0])/1000)

@app.route('/question')
def question():
    r = Service.ReadAndAnalysisQuestion()
    return render_template("question.html",data=r)
@app.route('/buttons')
def buttons():
    d=Methods.searchall()






    return render_template("buttons.html",waterlist=d)
@app.route('/charts')
def charts():
    d=Service.ReadAndAnalysisExcel()
    return render_template("charts.html",dateList=d)
@app.route('/export')
def export():
    Methods.exportTo()
    d = Methods.searchall()
    return render_template("buttons.html",waterlist=d)


@app.route('/tables')
def tables():
    return render_template("tables.html")
@app.route('/cards')
def cards():
    a=Methods.searchMachine()
    b=Methods.searchSumSix()
    b1 = int(b[0][0])
    b2 = int(b[0][1])
    b3 = int(b[0][2])
    b4 = int(b[0][3])
    b5 = int(b[0][4])
    b6 = int(b[0][5])
    d=Methods.searchDateAndWater()
    Xdata=d[0]
    Ydata=d[1]
    return render_template("cards.html",Xdata=Xdata,Ydata=Ydata,m1=a[0],m2=a[1],m3=a[2],m4=a[3],m5=a[4],m6=a[5],n1=b1,n2=b2,n3=b3,n4=b4,n5=b5,n6=b6)

@app.route('/register',methods=['GET','POST'])
def register():
    data = request.get_data()
    print("----------")
    print(data)
    if(len(data)>0):
        phonenumber=request.form.get('phonenumber')
        password=request.form.get('password')
        email=request.form.get('email')
        if(len(phonenumber)>0 and len(password)>0):
            p='"'+phonenumber+'"'
            pa='"'+password+'"'
            e='"'+email+'"'
            Methods.InsertIntoTable(p,pa,e)
            return render_template("login.html")
    return render_template("register.html")


if __name__=='__main__':
    app.run(debug=True)

四、前端Echarts的使用

1.下载echarts.min.js

链接：
https://github.com/apache/echarts/tree/master/dist

2.放入静态文件夹下

在这里插入图片描述

3.在要使用echarts的html网页中，导入这个文件

在这里插入图片描述
代码如下：

<script src="static/js/echarts.min.js"></script>

4.在官网中找到自己心仪的图表

在这里插入图片描述

5.下载官网中的代码到本地

在这里插入图片描述

6.下载后用记事本打开，选取需要的部分

在这里插入图片描述

7.将需要的部分粘贴到前端页面中，并将数据修改为后端传递的数据即可

后端传递的数据

@app.route('/charts')
def charts():
    d=Service.ReadAndAnalysisExcel()
    return render_template("charts.html",dateList=d)

前端接收和调用

var datelist={{dateList|tojson}};

五、最终的效果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
将代码的链接放到了最后，有喜欢的小伙伴在下载时给作者点一个star
智慧水务：https://gitee.com/majunlong1/IntelligentWater
在这里插入图片描述

@正在学习驰骋的小马
关注
供水新格局 低代码守护智慧水务安全供水
Gemcoder的博客
01-20 340
随着国家智慧城市、水十条等多个与水环境相关的政策的出台落地，智慧水务产业潜在需求巨大。面对水务行业信息化建设周期长，无统一的技术标准和数据标准，信息孤岛严重，协同工作能力受制约，生产调度和运营分析缺乏数据支撑和科学依据等一系列问题，急需通过建设大数据中心实现可测、可控、可视、可服务全流程。 一、建设智慧水务的迫切性 传统水务企业要快速转型实现智慧水务运维，难点重重。目前业界智慧水务管理的痛点可总结为这几点： 1.水务厂区、站点等散点式地域分布，加大信息化整合难度。 2.工艺流程设施、软件等的可视
数字孪生技术，可视化系统？
数字孪生之视频孪生
03-25 1876
数字孪生技术应用多种价值，1，重点区域监测，辅助管理者精确掌控重点区域状态，提升监测指挥力度。2，应急资源监测，为突发情况下指挥人员进行大规模应急资源管理和调配提供决策支持。3，可视化预案部署，以增强指挥作战人员的应急处置能力和响应效率。4，可视化通讯指挥，提升处置突发事件的效率。4，数据分析研判。5， 数据分析决策驾驶舱。6，多业务系统数据融合。等等
python 数据整理与清洗 在水质自动监测数据分析中的应用
weixin_42984235的博客
11-22 1687
在日常生产环境中，水质自动数据给我们带来许多帮助， 但水质自动监测数据往往因为设备故障、信息传输、数据频次不同等问题，即使经过数据库段初步删选如修约标记、上下限去除、零值、负值去除等工作，仍存在大量缺失值、异常值，需要进一步对监测数据进行整理与清洗。
使用python爬取国家地表水水质自动监测实时数据发布系统（最新代码和网站）
Peachesleader的博客
04-17 859
这里借鉴了一位大哥的源代码（但是年久失修，网站更迭，代码元素排版也已经更换），在加以改进之后终于能够成功爬取到数据了！大家替换一下16行的。
正则表达式
生活需要深度
06-15 778
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。re 模块使 Python 语言拥有全部的正则表达式功能。compile 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。本章节主要介绍 Python 中常用的正则表达式处理函数，如果你对
Python实现可视化智慧大屏展示
01-05 5023
Python实现可视化智慧大屏展示
智慧水务在线监测系统原型图.zip.zip
06-17
4. **GIS（地理信息系统）集成**：地图可视化是智慧水务的重要组成部分，GIS可以帮助定位水源、管道、水厂等基础设施，便于故障排查和资源调度。 5. **预警与决策支持**：系统应具备预警功能，当检测到水质异常、...
python123 北京市水资源数据可视化
06-01
3. 根据您的需求，您还可以选择使用一些专业的数据可视化工具，如 Tableau、Power BI 等，它们可以帮助您更加高效地进行数据可视化，并提供更加丰富的功能和可视化效果。 希望以上建议能够帮助到您，如有任何问题或...
蒙特卡罗方法——布丰投针实验近似计算圆周率python代码实现
2301_79376014的博客
09-09 495
蒙特卡罗——布丰实验
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定
weixin_53707653的博客
09-09 836
是一个强大且易用的工具，可以帮助开发者轻松管理 Python 项目的依赖关系，确保代码的可重复性和稳定性。是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。可以确保每次构建环境时都使用相同的依赖项版本，从而避免由于依赖项版本不一致导致的错误，提高代码可重复性和稳定性。自动化了依赖关系管理过程，节省了开发者的时间和精力，可以将更多时间投入到实际的开发工作中。文件中的信息，更新虚拟环境，安装、升级或卸载所需的软件包，确保虚拟环境与。命令可以从你的项目配置文件中生成。
Python实现多线程、多进程及协程
qq_42568323的博客
09-09 1083
本文详细介绍了 Python 中多线程、多进程和协程的并发模型及其实现方式，并通过具体场景演示了如何使用面向对象思想实现这些模型。在实际应用中，应根据任务的类型和需求选择合适的并发模型，从而优化程序的性能和资源利用率。本文将详细介绍 Python 中的多线程、多进程和协程的概念及其实现方式，并通过具体场景展示如何在 Python 中使用面向对象的思想实现这些并发模型。接下来，我们通过一个计算密集型任务的示例来演示多进程的实现：计算一系列大数字的阶乘。主程序中创建并启动了多个计算进程，并使用。
[Python]生成器和yield关键字
weixin_57336987的博客
09-07 448
概述:​ 它指的是 generator, 类似于以前学过的: 列表推导式, 集合推导式, 字典推导式…作用:​ 降低资源消耗, 快速(批量)生成数据.实现方式:​ 1.推导式写法.​ 2.yield写法.yield i # yield会记录每个生成的数据, 然后逐个的放到生成器对象中, 最终返回生成器对象.问题: 如何从生成器对象中获取数据?​ 答案:​ 1.for循环遍历​ 2.next()函数, 逐个获取.
Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警
最新发布
weixin_50556117的博客
09-11 1038
【代码】Django-Celery-Flower实现异步和定时爬虫及其监控邮件告警。
程序的格式框架与缩进
qq_57335683的博客
09-08 378
在上一课时中，我们介绍了 Python 的基本概念，并成功运行了第一个 Python 程序。本课时将深入探讨 Python 程序的基本结构、缩进的重要性，以及如何正确使用注释。通过本课时的学习，你将更好地理解 Python 代码的组织方式，并能够避免一些常见的编程错误。通过本课时的学习，你了解了 Python 程序的基本结构，认识到缩进在 Python 中的重要性，并学会了如何避免常见的缩进错误。缩进不仅是 Python 代码风格的一部分，而且是语法的一部分。这意味着如果缩进不正确，程序将无法正常运行。
币安/OK现货合约量化系统APP开发
I592O929783的博客
09-08 621
后端：考虑系统需要处理大量实时数据和高频交易的特点，选择高性能的编程语言和技术框架，如Python的Django或Flask框架，Java的Spring Boot等。用户交互界面：设计直观易用的用户交互界面，包括交易界面、策略配置界面、风险管理界面等，方便用户进行交易操作、策略配置和风险管理。市场数据接入：开发市场数据接入模块，从币安等交易所或数据服务商获取实时的市场数据，包括行情数据、订单簿数据、成交数据等。前端：选择适合开发复杂界面的前端框架，如React、Vue.js等，以提供用户友好的交互界面。
Python 检测人脸筛选指定尺寸人脸图片
刚刚入门的小码农
09-09 676
主要功能是处理一个指定文件夹中的所有图像文件（.jpg和.png），并根据图像中检测到的人脸特征，筛选和移动符合条件的图像。
JIT编译器
Flying_Fish_roe的博客
09-11 548
JIT（Just-In-Time，实时编译）编译器是 Java 虚拟机（JVM）中的一项重要技术，用于将 Java 字节码（Bytecode）在运行时动态编译为机器码。Java 程序最初通过编译器（如javac）将源代码编译为字节码，字节码在 JVM 中解释执行。然而，由于解释执行每次都需要逐条翻译字节码指令为机器指令，这种方式效率较低。为了解决性能问题，JIT 编译器在程序运行时将热点代码编译为机器码，从而提高运行效率。JIT 编译器是 Java“编译型”和“解释型”语言的结合特性的重要体现之一。
如何利用python爬取水质监测数据
05-11
要利用 Python 爬取水质监测数据，一般需要以下步骤： 1. 寻找数据来源：可以在政府或环保机构官网、水务公司官网等地方寻找水质监测数据的来源。 2. 分析网页结构：通过查看网页源代码，确定需要爬取的数据在哪个标签中以及如何提取数据。 3. 编写爬虫程序：使用 Python 的第三方网络爬虫库（如 Scrapy、Requests、BeautifulSoup 等）编写爬虫程序，从网页中提取所需数据。 4. 数据处理：对提取的数据进行清洗、整合、分析等处理。 下面是一个简单的示例代码，可以参考一下： ```python import requests from bs4 import BeautifulSoup url = "http://example.com/water-quality-data" response = requests.get(url) soup = BeautifulSoup(response.content, "html.parser") # 假设需要爬取表格中的数据 table = soup.find("table") rows = table.find_all("tr") for row in rows: cols = row.find_all("td") for col in cols: print(col.text) ``` 需要注意的是，爬取数据时要尊重网站的 robots.txt 协议，不要对网站造成过大的负担，以免被封禁。另外，爬取数据也要遵守相关法律法规，不要违反隐私、版权等规定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值