实时数据可视化系统的搭建(含代码)

之前一直在做别的事情,就忘记整理系统的文档了。现在正好闲下来,开始整理吧!
本系统是基于python的实时数据可视化系统。

网站如下:网站地址
该网站使用的技术和工具有:python网络爬虫、docker技术、Flask、Ajax等。
我这里爬取的是某平台的数据。代码如下:

#return:返回历史数据和当天的详细数据
import requests
import json
import time
##封装函数
def get_tencent_data():
    url_day="https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"##当天的数据
    url_other="https://view.inews.qq.com/g2/getOnsInfo?name=disease_other"##历史数据
    header={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"}
    r_day=requests.get(url_day,headers=header)
    r_other=requests.get(url_other,headers=header)
    res_day=json.loads(r_day.text)#json字符串转化成字典
    res_other=json.loads(r_other.text)#json字符串转化成字典
    data_day=json.loads(res_day['data'])
    data_other=json.loads(res_other['data'])
    
    history={}#历史数据
    for i in data_other["chinaDayList"]:
        ds="2020."+i["date"]
        tup=time.strptime(ds,"%Y.%m.%d")
        ds=time.strftime("%Y-%m-%d",tup)#改变时间格式
        confirm=i["confirm"]
        suspect=i["suspect"]
        heal=i["heal"]
        dead=i["dead"]
        history[ds]={"confirm":confirm,"suspect":suspect,"heal":heal,"dead":dead}
    for i in data_other["chinaDayAddList"]:
        ds="2020."+i["date"]
        tup=time.strptime(ds,"%Y.%m.%d")
        ds=time.strftime("%Y-%m-%d",tup)#改变时间格式
        confirm=i["confirm"]
        suspect=i["suspect"]
        heal=i["heal"]
        dead=i["dead"]
        history[ds].update({"confirm_add":confirm,"suspect_add":suspect,"heal_add":heal,"dead_add":dead})
        
    details=[]#当日详细数据
    update_time=data_day["lastUpdateTime"]
    data_country=data_day["areaTree"]#list 25个国家
    data_province=data_country[0]["children"] #中国各省
    for pro_infos in data_province:
        province=pro_infos["name"]#各省名
        for city_infos in pro_infos["children"]:
            city=city_infos["name"]
            confirm=city_infos["total"]["confirm"]
            confirm_add=city_infos["today"]["confirm"]
            heal=city_infos["total"]["heal"]
            dead=city_infos["total"]["dead"]
            details.append([update_time,province,city,confirm,confirm_add,heal,dead])
    return history,details
get_tencent_data()

存储数据是使用docker拉取了一个mysql容器,这样可以更快的交付和部署。
存储数据:

#pymysql的简单使用
#建立连接
conn = pymysql.connect(host='111.111.111.111',
                             port=xxx,
                             user='xxx',
                             password='xxx',
                             db='xxx',
                             charset='utf8')
#创建游标,默认是元组型
cursor=conn.cursor()
sql="select * from history"
cursor.execute(sql)
res=cursor.fetchall()
print(res)
cursor.close()
conn.close()

插入数据:

#pymysql的简单使用
#建立连接
conn = pymysql.connect(host='127.0.0.1',
                             port=xxx,
                             user='xxx',
                             password='xxx',
                             db='xxx',
                             charset='utf8')
#创建游标,默认是元组型
cursor=conn.cursor()
sql="insert into history values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.execute(sql,[time.strftime("%Y-%m-%d"),10,1,2,3,4,5,6,7])
#res=cursor.fetchall()
#print(res)
conn.commit()
cursor.close()
conn.close()

将插入数据的方法进行封装。

##更新details表
def update_details():
    cursor=None
    conn=None
    try:
        li=get_tencent_data()[1]
        #0是历史数据,1是最新数据
        conn,cursor=get_conn()
        sql="insert into details(update_time,province,city,confirm,confirm_add,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)"
        sql_query='select %s=(select update_time from details order by id desc limit 1)'
        #对比当前最大时间戳
        cursor.execute(sql_query,li[0][0])
        if not cursor.fetchone()[0]:
            print(f"{time.asctime()}开始更新最新数据")
            for item in li:
                cursor.execute(sql,item)
            conn.commit()
            print(f" {time.asctime()} 更新最新数据完毕")
        else:
            print(f" {time.asctime()} 已经是最新数据!")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)

封装常用的方法:

def get_conn():
    conn = pymysql.connect(host='xxx.xxx.xxx.xxx',
                             port=xxx,
                             user='xxx',
                             password='xxxx',
                             db='xxx',
                             charset='utf8')
    #创建游标,默认是元组型
    cursor=conn.cursor()
    return conn,cursor
def close_conn(conn,cursor):
    if cursor:
        cursor.close()
    if conn:
        conn.close()

插入历史数据封装:

## 插入历史数据
def insert_history():
    cursor=None
    conn=None
    try:
        dic=get_tencent_data()[0]
        #拿到历史数据
        print(f"{time.asctime()}开始插入历史数据")
        conn,cursor=get_conn()
        sql="insert into history values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        for k,v in dic.items():
            cursor.execute(sql,[k,v.get("confirm"),v.get("confirm_add"),
                                   v.get("suspect"),v.get("suspect_add"),v.get("heal"),
                                v.get("heal_add"),v.get("dead"),v.get("dead_add")
                               ])
        conn.commit()
        #提交事务
        print(f"{time.asctime()}插入历史数据完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)

更新历史数据封装:

##更新历史数据
def update_history():
    cursor=None
    conn=None
    try:
        dic=get_tencent_data()[0]
        print(f"{time.asctime()}开始插入历史数据")
        conn,cursor=get_conn()
        sql="insert into history values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        sql_query="select confirm from history where ds=%s"
        for k,v in dic.items():
            if not cursor.execute(sql_query,k):
                print(f"{time.asctime()}开始更新历史数据完毕")
                cursor.execute(sql,[k,v.get("confirm"),v.get("confirm_add"),
                                   v.get("suspect"),v.get("suspect_add"),v.get("heal"),
                                v.get("heal_add"),v.get("dead"),v.get("dead_add")
                               ])
        conn.commit()
        print(f"{time.asctime()}更新历史数据完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)

爬取并存储百度的热点数据并以词云图展示出来:

def get_baidu_hot():
    """
    :return: 返回热搜
    """
    option = ChromeOptions()  # 创建浏览器实例
    option.add_argument("--headless")  # 隐藏浏览器
    option.add_argument('--no-sandbox')

    url = "https://voice.baidu.com/act/virussearch/virussearch?from=osari_map&tab=0&infomore=1"
    browser = Chrome(options=option,executable_path="./chromedriver.exe")
    browser.get(url)
    # 找到展开按钮
    dl = browser.find_element_by_css_selector('#ptab-0 > div > div.VirusHot_1-5-3_32AY4F.VirusHot_1-5-3_2RnRvg > section > div')
    dl.click()
    time.sleep(1)
    # 找到热搜标签
    c = browser.find_elements_by_xpath('//*[@id="ptab-0"]/div/div[2]/section/a/div/span[2]')
    context = [i.text for i in c]  # 获取标签内容
    print(context)
    return context


def update_hotsearch():
    """
    将热搜插入数据库
    :return:
    """
    cursor = None
    conn = None
    try:
        context = get_baidu_hot()
        print(f"{time.asctime()}开始更新热搜数据")
        conn, cursor = get_conn()
        sql = "insert into hotsearch(dt,content) values(%s,%s)"
        ts = time.strftime("%Y-%m-%d %X")
        for i in context:
            cursor.execute(sql, (ts, i))  # 插入数据
        conn.commit()  # 提交事务保存数据
        print(f"{time.asctime()}数据更新完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn, cursor)

上面完成了爬取xx数据,使用Flask搭建的Web应用,使用Ajax局部刷新页面数据,使用echarts制作页面的可视化模板。
完整代码见github:
代码
代码部署到服务器:
然后将代码上传到centos服务器上,这里使用gunicorn作为应用服务器。安装代码如下:

pip install gunicorn

在这里插入图片描述
这里一定要注意:一定要下载对应版本的chrome和驱动,便于成功爬取数据。
然后定时部署爬虫。
获取crontab定时调度。
crontab -l 列出当前任务。
crontab -e 编辑任务。
这里给出任务的代码:

30 * * * *  python /root/Cov/spider.py up_his  >> /root/Cov/log_his 2>&1  & 
*/5 * * * *  python /root/Cov/spider.py up_det  >> /root/Cov/log_det 2>&1  & 
  • 5
    点赞
  • 32
    收藏
    觉得还不错? 一键收藏
  • 11
    评论
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值