爬虫项目可视化 centos7+python+echarts+flask

最新推荐文章于 2022-12-23 18:53:18 发布
最新推荐文章于 2022-12-23 18:53:18 发布
阅读量1.5k 收藏 9
点赞数 1
分类专栏： python爬虫 可视化 centos7 文章标签： python mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dengliming123/article/details/105890595
版权

flask框架+echarts+mysql+centos7
根据 hxxjxw 原博客 实现与改进

项目完整代码

项目完整代代码github上面自行下载 完整代码

数据接口

腾讯新闻接口:
https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5
https://view.inews.qq.com/g2/getOnsInfo?name=disease_other
百度热搜:
https://voice.baidu.com/act/virussearch/virussearch?from=osari_map&tab=0&infomore=1

基于centos7上的mysql开发

centos7 mysql环境的搭建自行百度资源很多
centos7 python3安装:
转自 https://blog.csdn.net/hxxjxw/article/details/105336981

在数据库中建表存放数据

建表建库之前建议大家先设置一下数据库的编码,设置为utf-8不然后续插数据会出错,
修改Mysql编码格式：
show variables like ‘character%’;
set character_set_database=utf8;
对于已经存在的数据库和表格，修改：
修改数据库编码格式： Alter database 数据库名称 character set utf8 collate utf8_general_ci;
修改表编码格式： Alter table 表名称 convert to character set utf8;
查看数据库的编码格式： show create database 数据库名称;
转自 https://www.jianshu.com/p/eca83992983a

建表语句
创建6张表来分别存储国内历史数据,全球历史数据,国内当日数据,美国详细数据,百度热搜数据
建表语句如下：

CREATE TABLE `chinahistory` (
  `ds` datetime NOT NULL COMMENT '日期',
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',
  `confirm_add` int(11) DEFAULT NULL COMMENT '当日新增确诊',
  `suspect` int(11) DEFAULT NULL COMMENT '剩余疑似',
  `suspect_add` int(11) DEFAULT NULL COMMENT '当日新增疑似',
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈',
  `heal_add` int(11) DEFAULT NULL COMMENT '当日新增治愈',
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡',
  `dead_add` int(11) DEFAULT NULL COMMENT '当日新增死亡',
  PRIMARY KEY (`ds`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `globalhistory` (
  `ds` datetime NOT NULL COMMENT '日期',
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',
  `newAddConfirm` int(11) DEFAULT NULL COMMENT '当日新增确诊',
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈',
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡',
  `confirm_add` int(11) DEFAULT NULL COMMENT '当日新增确诊',
  `heal_add` int(11) DEFAULT NULL COMMENT '当日新增治愈',
  `dead_add` int(11) DEFAULT NULL COMMENT '当日新增死亡',
  PRIMARY KEY (`ds`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `details` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `update_time` datetime DEFAULT NULL COMMENT '数据最后更新时间',
  `province` varchar(50) DEFAULT NULL COMMENT '省',
  `city` varchar(50) DEFAULT NULL COMMENT '市',
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',
  `confirm_add` int(11) DEFAULT NULL COMMENT '新增治愈',
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈',
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `globaldata` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `update_time` datetime DEFAULT NULL COMMENT '数据最后更新时间',
  `name` varchar(50) DEFAULT NULL COMMENT '国家',
  `continent` varchar(50) DEFAULT NULL COMMENT '州名',
  `confirmAdd` int(11) DEFAULT NULL COMMENT '新增治愈',
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',
  `suspect` int(11) DEFAULT NULL COMMENT '治愈',
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈',
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡',
  `nowConfirm` int(11) DEFAULT NULL COMMENT '现存确诊',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;


CREATE TABLE `detailsusa` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `update_time` datetime DEFAULT NULL COMMENT '数据最后更新时间',
  `city` varchar(50) DEFAULT NULL COMMENT '城市',
  `namemap` varchar(50) DEFAULT NULL COMMENT '英文名',
  `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',
  `confirm_add` int(11) DEFAULT NULL COMMENT '新增治愈',
  `heal` int(11) DEFAULT NULL COMMENT '累计治愈',
  `dead` int(11) DEFAULT NULL COMMENT '累计死亡',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `hotsearch` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `dt` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP,
  `content` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

爬取数据

import requests
import json
import time
import pymysql
#from selenium.webdriver import Chrome,ChromeOptions
import traceback
import sys
#from selenium import webdriver
from lxml import etree

#返回历史数据和当日详细数据
def get_data():
    #url来自腾讯：https://news.qq.com//zt2020/page/feiyan.htm  ，F12找到js中Get方法的数据json的url
    #国内当日新增
    url1 = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"
    #国内历史数据
    url2 = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_other"
    #国外历史数据
    url3 = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_foreign"
    #国外当日数据
    url4 = "https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist"
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'
    }
    r1 = requests.get(url1, headers)
    time.sleep(1)
    r2 = requests.get(url2, headers)
    time.sleep(1)
    r3 = requests.get(url3, headers)
    time.sleep(1)
    r4 = requests.get(url4, headers)

    #json字符串转字典
    r1 = json.loads(r1.text)
    r2 = json.loads(r2.text)
    r3 = json.loads(r3.text)
    r4 = json.loads(r4.text)
    #print(r1)
    data_all1 = json.loads(r1["data"])
    data_all2 = json.loads(r2["data"])
    data_all3 = json.loads(r3["data"])

    #print(data_all3['foreignList'][3])
    #print(data_all3)
    #print(data_all2["provinceCompare"]['上海'])
    #print("-----"*30)
    #print(data_all2["chinaDayList"])

    #国内历史数据
    chinahistory = {}
    for i in data_all2["chinaDayList"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        ds = time.strftime("%Y-%m-%d", tup)  #改变时间输入格式，不然插入数据库会报错，数据库是datatime格式
        confirm = i["confirm"]
        suspect = i["suspect"]
        heal = i["heal"]
        dead = i["dead"]
        chinahistory[ds] = {"confirm": confirm, "suspect": suspect, "heal": heal, "dead": dead}
    for i in data_all2["chinaDayAddList"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        ds = time.strftime("%Y-%m-%d", tup)  #数据库datatime格式
        confirm = i["confirm"]
        suspect = i["suspect"]
        heal = i["heal"]
        dead = i["dead"]
        chinahistory[ds].update({"confirm_add": confirm, "suspect_add": suspect, "heal_add": heal, "dead_add": dead})
    #print(chinahistory)

    #全球历史数据
    globalhistory = {}
    for i in data_all3["globalDailyHistory"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        ds = time.strftime("%Y-%m-%d", tup)  #数据库datatime格式
        confirm = i["all"]["confirm"]
        newAddConfirm = i["all"]["newAddConfirm"]
        heal = i["all"]["heal"]
        dead = i["all"]["dead"]
        globalhistory[ds] = {"confirm": confirm, "newAddConfirm": newAddConfirm, "heal": heal, "dead": dead}
    for i in data_all3["globalDailyHistory"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        ds = time.strftime("%Y-%m-%d", tup)  #数据库datatime格式
        confirm = i["all"]["confirm"]
        newAddConfirm = i["all"]["newAddConfirm"]
        heal = i["all"]["heal"]
        dead = i["all"]["dead"]
        globalhistory[ds].update({"confirm_add": confirm, "newAddConfirm": newAddConfirm, "heal_add": heal, "dead_add": dead})
    #print(globalhistory)

    #国内当日详细数据，这里默认为境外输入，当前编写时间为4月24日，主要来自境外
    details = []
    update_time = data_all1["lastUpdateTime"]
    data_country = data_all1["areaTree"]  #list 25个国家
    data_province = data_country[0]["children"] #中国各省
    for pro_infos in data_province:
        province = pro_infos["name"] #省名
        for city_infos in pro_infos["children"]:
            city = city_infos["name"]
            confirm = city_infos["total"]["confirm"]
            confirm_add = city_infos["today"]["confirm"]
            heal = city_infos["total"]["heal"]
            dead = city_infos["total"]["dead"]
            details.append([update_time, province, city, confirm, confirm_add, heal, dead])
    #print("国内每日数据"*10)
    #print(details)

    #美国各州当日详细数据
    detailsusa = []
    #update_time = data_all3["lastUpdateTime"]  #此json里没有这个列
    data_province = data_all3['foreignList'][0]['children']
    for city_infos in data_province:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        update_time = time.strftime("%Y-%m-%d", tup)  #数据库datatime格式
        city = city_infos["name"]
        namemap = city_infos["nameMap"]
        confirm = city_infos["confirm"]
        confirm_add = city_infos["confirmAdd"]
        heal = city_infos["heal"]
        dead = city_infos["dead"]
        detailsusa.append([update_time,city,namemap, confirm, confirm_add, heal, dead])
    #

    #全球当日详细数据
    globaldata = []
    for i in r4["data"]:
        ds = "2020." + i["date"]
        tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间
        update_time = time.strftime("%Y-%m-%d", tup)  #数据库datatime格式
        name = i['name']
        continent = i['continent']
        confirmAdd = i['confirmAdd']
        confirm = i["confirm"]
        suspect = i["suspect"]
        heal = i["heal"]
        dead = i["dead"]
        nowConfirm = i['nowConfirm']
        globaldata.append([update_time,name,continent,confirmAdd,confirm,suspect,heal,dead,nowConfirm])
    #print(globaldata)


    return chinahistory,globalhistory,details,globaldata,detailsusa


def get_conn():
	#建立连接
	conn = pymysql.connect(host="", user="", password="", db="")#数据库的信息根据个人来填写,插入的数据有中文就要设置charset的编码格式
	#创建游标
	cursor = conn.cursor()
	return conn,cursor

def close_conn(conn,cursor):
	if cursor:
		cursor.close()
	if conn:
		conn.close()


#插入detailsusa数据
def update_detailsusa():
	cursor = None
	conn = None
	try:   
		li = get_data()[4]   #返回的数据
		conn,cursor = get_conn()
		sql = "insert into detailsusa(update_time,city,namemap, confirm, confirm_add, heal, dead) values(%s,%s,%s,%s,%s,%s,%s)"
		sql_query = "select %s=(select update_time from details order by id desc limit 1)"  #对比当前最大时间戳
		#对比当前最大时间戳
		cursor.execute(sql_query,li[0][0])
		if not cursor.fetchone()[0]:
			print(f"{time.asctime()}开始更新数据")
			for item in li:
				cursor.execute(sql,item)
			conn.commit()
			print(f"{time.asctime()}更新到最新数据")
		else:
			print(f"{time.asctime()}已是最新数据！")
	except:
		traceback.print_exc()
	finally:
		close_conn(conn,cursor)

#插入globaldata数据
def update_globaldata():
	cursor = None
	conn = None
	try:   
		li = get_data()[3]   #返回的数据
		conn,cursor = get_conn()
		sql = "insert into globaldata(update_time,name,continent,confirmAdd,confirm,suspect,heal,dead,nowConfirm) values(%s,%s,%s,%s,%s,%s,%s,%s,%s)"
		sql_query = "select %s=(select update_time from details order by id desc limit 1)"  #对比当前最大时间戳
		#对比当前最大时间戳
		cursor.execute(sql_query,li[0][0])
		if not cursor.fetchone()[0]:
			print(f"{time.asctime()}开始更新数据")
			for item in li:
				cursor.execute(sql,item)
			conn.commit()
			print(f"{time.asctime()}更新到最新数据")
		else:
			print(f"{time.asctime()}已是最新数据！")
	except:
		traceback.print_exc()
	finally:
		close_conn(conn,cursor)

#插入details数据
def update_details():
	cursor = None
	conn = None
	try:   
		li = get_data()[2]   #返回的数据
		conn,cursor = get_conn()
		sql = "insert into details(update_time,province,city,confirm,confirm_add,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)"
		sql_query = "select %s=(select update_time from details order by id desc limit 1)"  #对比当前最大时间戳
		#对比当前最大时间戳
		cursor.execute(sql_query,li[0][0])
		if not cursor.fetchone()[0]:
			print(f"{time.asctime()}开始更新数据")
			for item in li:
				cursor.execute(sql,item)
			conn.commit()
			print(f"{time.asctime()}更新到最新数据")
		else:
			print(f"{time.asctime()}已是最新数据！")
	except:
		traceback.print_exc()
	finally:
		close_conn(conn,cursor)


#插入chinahistory数据
def insert_chinahistory():
    cursor = None
    conn = None
    try:
        dic = get_data()[0]   #0代表历史数据字典
        print(f"{time.asctime()}开始插入历史数据")
        conn,cursor = get_conn()
        sql = "insert into chinahistory values (%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        for k,v in dic.items():
            cursor.execute(sql,[k, v.get("confirm"),v.get("confirm_add"),v.get("suspect"),
                           v.get("suspect_add"),v.get("heal"),v.get("heal_add"),
                           v.get("dead"),v.get("dead_add")])
        conn.commit()
        print(f"{time.asctime()}插入历史数据完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)


#更新国内历史数据
def update_chinahistory():
    cursor = None
    conn = None
    try:
        dic = get_data()[0]#0代表历史数据字典
        print(f"{time.asctime()}开始更新历史数据")
        conn,cursor = get_conn()
        sql = "insert into chinahistory values (%s,%s,%s,%s,%s,%s,%s,%s,%s)"
        sql_query = "select confirm from chinahistory where ds=%s"
        for k,v in dic.items():
            if not cursor.execute(sql_query,k):
                cursor.execute(sql,[k, v.get("confirm"),v.get("confirm_add"),v.get("suspect"),
                               v.get("suspect_add"),v.get("heal"),v.get("heal_add"),
                               v.get("dead"),v.get("dead_add")])
        conn.commit()
        print(f"{time.asctime()}历史数据更新完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)

#插入globalhistory数据
def insert_globalhistory():
    cursor = None
    conn = None
    try:
        dic = get_data()[1]   #0代表历史数据字典
        print(f"{time.asctime()}开始插入历史数据")
        conn,cursor = get_conn()
        sql = "insert into globalhistory values (%s,%s,%s,%s,%s,%s,%s,%s)"
        for k,v in dic.items():
            cursor.execute(sql,[k, v.get("confirm"),v.get("newAddConfirm"),v.get("heal"),
                               v.get("dead"),v.get("confirm_add"),v.get("heal_add"),
                               v.get("dead_add")])
        conn.commit()
        print(f"{time.asctime()}插入历史数据完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)

#更新全球历史数据
def update_globalhistory():
    cursor = None
    conn = None
    try:
        dic = get_data()[1]    #代表历史数据字典
        print(f"{time.asctime()}开始更新历史数据")
        conn,cursor = get_conn()
        sql = "insert into globalhistory values (%s,%s,%s,%s,%s,%s,%s,%s)"
        sql_query = "select confirm from globalhistory where ds=%s"
        for k,v in dic.items():
            if not cursor.execute(sql_query,k):
                cursor.execute(sql,[k, v.get("confirm"),v.get("newAddConfirm"),v.get("heal"),
                               v.get("dead"),v.get("confirm_add"),v.get("heal_add"),
                               v.get("dead_add")])
        conn.commit()
        #{"confirm": confirm, "newAddConfirm": newAddConfirm, "heal": heal, "dead": dead}
        #{"confirm_add": confirm, "newAddConfirm": newAddConfirm, "heal_add": heal, "dead_add": dead}
        print(f"{time.asctime()}历史数据更新完毕")
    except:
        traceback.print_exc()
    finally:
        close_conn(conn,cursor)



#返回百度疫情复工复课热搜
def get_baidu_hot():
	#option = ChromeOptions() #创建谷歌浏览器实例
	#option.add_argument("--headless")#隐藏浏览器
	#option.add_argument("--no-sandbox")  #禁用沙盘    部署在linux上访问chrome要求这样
	#url = 'https://voice.baidu.com/act/virussearch/virussearch?from=osari_map&tab=0&infomore=1'
	#brower = Chrome(options = option)
	#brower.get(url)
	#找到展开按钮
    #driver_path = r"C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe"
    driver_path = r'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe'
    driver = webdriver.Chrome(executable_path=driver_path)
    driver.get('https://voice.baidu.com/act/virussearch/virussearch?from=osari_map&tab=0&infomore=1')
    #but = driver.find_element_by_xpath("//*[@id="ptab-0"]/div/div[1]/section/div") #定位到点击展开按钮
    #but.click() #点击展开
    time.sleep(2)#
    c = driver.find_elements_by_xpath('//*[@id="ptab-0"]/div/div[2]/section/a/div/span[2]')
    context = [i.text for i in c]  #获取标签内容
    # 关闭浏览器窗口
    driver.close()
    print(context)
    return context

#将疫情复工复课热搜插入数据库
def update_hotsearch():
	cursor = None
	conn = None
	try:
		context = get_baidu_hot()
		print(f"{time.asctime()}开始更新热搜数据")
		conn, cursor = get_conn()
		sql = "insert into hotsearch(dt,content) values(%s,%s)" 
		ts = time.strftime("%Y-%m-%d %X")
		for i in context:
			cursor.execute(sql,(ts,i))  #插入数据
		conn.commit() #提交事务保存数据
		print(f"{time.asctime()}数据更新完毕")
	except:
		traceback.print_exc()
	finally:
		close_conn(conn,cursor)

#清空表数据
def clean_table():
    conn = pymysql.connect(host="47.115.148.142", user="root", password="hht*LSL520", db="yq", charset="utf8")
    mycursor = conn.cursor()
    sql1 = "truncate table chinahistory" ## 清空
    sql2 = "truncate table details" ## 清空
    sql3 = "truncate table detailsusa" ## 清空
    sql4 = "truncate table globaldata" ## 清空
    sql5 = "truncate table globalhistory" ## 清空
    sql6 = "truncate table hotsearch" ## 清空
    mycursor.execute(sql1)
    mycursor.execute(sql2)
    mycursor.execute(sql3)
    mycursor.execute(sql4)
    mycursor.execute(sql5)
    mycursor.execute(sql6)
    conn.commit()
    conn.close()
    print("清表操作完成......")


if __name__ == "__main__":
    #get_data()
    clean_table()
    update_detailsusa()
    update_globaldata()
    update_details()
    insert_chinahistory()
    insert_globalhistory()
    update_chinahistory()
    update_globalhistory()
    #在服务器端暂时不打开百度热搜，需要单独安装插件
    update_hotsearch()


这个爬虫代码大家在本地测试好了之后就可以传到服务器上面然后设置自动爬虫了

下载pyecharm并创建一个flask项目

在这里插入图片描述
flask框架的具体使用这里我就不细说了,大家可以去b站搜一下
大家可以去github上面下载我的源码研究一下

在这里插入图片描述
这个就是最终的效果

将本地怕从以及flask项目部署到阿里云centos7服务器上

大家安装好了python3之后需要把flask里面以及爬虫代码里面需要用到的库给安装一下

pip3 install pymsql
pip3 install flask
pip install jieba

安装好了之后大家通过xshell或者filezilla将本地的爬虫代码和flask项目传到服务器上

设置定时启动爬虫
这里用到的是crontab服务来设置爬虫脚本自己启动
输入 :crontab -e
编辑这个文件:
例如我的: 0 8 * * * python3 /opt/yq.py
表示的就是每天早上8点钟自动执行 python3 /opt/yq.py这个命令
在这里插入图片描述
设置好之后保存退出即可,这样定时爬虫就设置好了

那么要想在服务器启动flask项目就需要进入app.py这个文件所在的路径:

在这里插入图片描述
在运行之前要在app.py的末尾添加一点东西
在这里插入图片描述
0.0.0.0运行所有人访问,8080设置任务的端口号

要进入到这个目录然后运行python3 app.py当然这样运行只是一个开发模式并不是一个生产模式
要想让程序一直挂在后台运行就需要nginx服务大家自行查一下

柚子坨坨i
关注
专栏目录
基于Python + Flask + Echarts的疫情数据可视化网站项目（一）前言及创建项目
一点点创意
07-03 2540
基于Python + Flask + Echarts的中国疫情数据可视化网站项目（一）构建项目一、前言二、构建项目1、新建Flask项目1、新建Flask项目 一、前言 （一）、前端： 1、界面设计（HTML5）：HBuilder 下载： https://www.dcloud.io/runtime.html?platform=wap2app#toDownload 使用教程：https://www.runoob.com/w3cnote/hbuilder-intro.html 2、数据分析：Jupyter n
python大作业报告(爬虫 分析 可视化)_python第四次周末大作业
weixin_39807691的博客
12-17 4309
'''选课系统开发 系统登录需要有两类用户：学生、管理员，针对不用用户提供不同功能：学生用户 ：对于学生用户来说，登陆之后有三个功能1、查看所有课程2、选择课程3、查看所选课程4、删除已选课程管理员用户：管理员用户除了可以做一些查看功能之外，还有很多创建工作。1、创建课程2、创建学生学生账号3、查看所有课程4、查看所有学生5、查看所有学生的选课情况'''import osclass Student...
Python爬虫、Flask框架与ECharts实现数据可视化
06-19
Python爬虫、Flask框架与ECharts实现数据可视化，源码无错误！希望大家可以好好学习，用好资源，原创，搬运请表明来源，谢谢！又不足请大佬们指正！
python爬虫热点项目（Flask）
IT瘾君子的博客
11-22 324
python编程快速上手（持续更新中…） 代理池项目
Python+Flask+Echart+WordCloud：豆瓣爬虫项目的可视化数据
微信号：RunsenLiu
04-09 2243
介绍 爬虫数据可视化（Python+Flask+Echart+WordCloud） 将一个豆瓣爬虫项目的数据，可视化处理。 基本流程 基本流程可以分为以下4个步骤： 一、Flask框架：Python最出名的框架要数Django，此外还有Flask、Tornado等框架。虽然Flaskb不是最出名的框架，但是Flask应该算是最灵活的框架之一了。所以学习Flask框架的使用是该项目的开始。 二、ECharts：ECharts是百度的产品，提供了样式文件，提供了各种各样的案例，还有教程，所以，我们可以学习使用E
数据可视化echarts+mysql+python+flask
No1Brother_Jian的博客
05-12 7987
数据可视化echarts+mysql+python+flask 本人小白菜鸟，本篇文章的代码也许走了很多弯路请各位大神们喷的轻点0.0 我参考了这篇文章给了我很大的感触，感谢这个大佬：小牛头#Python3+MySql+Flask+Echarts 效果图 | echarts调用了数据库里面的数据(数据库里必须先有数据哦) 其中有两个数据表是我在做之前就已存在的（student,phone...
Flask项目-实现爬虫实时抓取数据并刷新呈现
Serhroder的博客
05-01 1万+
Flask+Echarts+Ajax+requests实现实时抓取数据并刷新呈现 本人想要实现一个实时抓取比特币价格并实时刷新呈现在Echarts的网站，因此产生了本篇文章。本文运用了Echarts基础样式。 由于这个网站的虚拟货币价格数据是实时刷新的，因此我们只需要定时抓取就可以实现动态更新数据。 而echarts接受的数据是字典包着列表的JSON数据，因此我们要将抓取数据的’¥’和’,'进行处理再return。 首先是后端Flask+requests的代码: from flask import Fla
人工智能-项目实践-可视化-基于Python+Flask+Echarts的疫情爬虫&数据可视化项目.zip
12-23
人工智能-项目实践-可视化-基于Python+Flask+Echarts的疫情爬虫&数据可视化项目 步骤 Python网络爬虫 使用Python与MySQL数据库交互 使用Flask构建web项目 基于Echarts数据可视化展示 在Linux上部署web项目及爬虫 ...
基于Python+Flask+Echarts的疫情爬虫&数据可视化项目
最新发布
05-31
基于Python+Flask+Echarts的疫情爬虫&数据可视化项目、 步骤 Python网络爬虫 使用Python与MySQL数据库交互 使用Flask构建web项目 基于Echarts数据可视化展示 在Linux上部署web项目及爬虫 项目环境 Python 3.7 MySQL...
基于Python+Flask+Echarts的疫情爬虫&数据可视化项目+源代码+文档说明
12-01
基于Python+Flask+Echarts的疫情爬虫&数据可视化项目 *** ## 步骤 >* Python网络爬虫 >* 使用Python与MySQL数据库交互 >* 使用Flask构建web项目 >* 基于Echarts数据可视化展示 >* 在Linux上部署web项目及爬虫 ...
疫情数据可视化分析系统python+flask+pycharts+pymysql+爬虫
04-08
疫情数据可视化分析系统，使用python编写的，用爬虫去爬取数据，然后使用pymysql存入MySQL数据库，然后使用flask搭建web框架，最后使用pyecharts进行可视化。
flask、echarts可视化小实例
09-29
我的博客文章：https://blog.csdn.net/qq_43795348/article/details/108865588 示例代码
完整python项目，python爬虫 爬取今日头条后台数据，使用flask框架 。html实现前端
09-30
完整python项目，可以自己运行。利用python爬虫 爬取今日头条后台数据。然后使用flask框架 实现自己的后台 ，通过爬虫获取 今日头条数据。html实现前端 显示数据。网站UI一级界面自己实现，仿照今日头条网站
Python flask框架如何显示图像到web页面
09-16
主要介绍了Python flask框架如何显示图像到web页面,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
【毕业设计】 python flas疫情爬虫可视化
HUXINY的博客
08-23 1427
为更直观、更专业地了解疫情的变化，本文设计了基于爬虫、Dianjo、Pyecharts的COVID-19疫情信息可视化系统。该系统主要包括疫情模型预测、疫情信息可视化以及防疫措施指南三大功能，能够实时动态展示疫情发展趋势，并根据预测模型进行疫情预测以及提供有效的防疫措施。
pythonapp爬虫库_GitHub - LJF2402901363/JobSearchApp: 基于Python的flask网络爬虫web项目
weixin_42425967的博客
01-29 263
1.本项目基于Python作为爬虫技术，使用flask作为web项目的开发框架。2.本项目预期实现的功能有：2.1简单的web页面展示，将需要搜索的结果使用词云，饼状图，柱状图以及表格这四种形式表现出来。2.2输入关键字后搜索后能根据搜索结果智能推荐最合适的职位。2.3支持多条件复杂查询，结合行业，所选城市进行综合查询。2.4通过手动添加新词进行过滤词云内容达到更加精确人性化的结果。3.使用的技术...
python echarts mysql_Flask+MySQL+Echarts: 实现数据可视化
weixin_39869693的博客
12-18 1488
一、软件及对应版本Python 3.6.1 |Anaconda customFlask 0.12.2Echarts 4.0二、项目目录Project directory.jpg三、代码展示server.pyfrom flask import Flask,render_template, url_forimport pymysqlimport pandas as pdapp = Flask(__na...
【小知识点】Python Flask 部署，生成环境的爬虫训练场项目
热门推荐
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-23 1万+
本篇博客继续补充一个小知识点，部署 Python Flask 项目。爬虫训练场项目版本一使用的主机配置如下。1 CPU 2 GB / CentOS 7.6 64 位 / 40 GB 系统盘 / 2 Mbps在该系统下首先安装一个宝塔服务，非必须，但对初学者上手比较友好。配置宝塔之后，得到如下界面，可以开启后续配置。
阿里云上部署Django项目：CentOS7+Python3+MySQL实战指南
"这篇文章主要讲解了在CentOS7系统上，如何使用Django、Python3和MySQL，并结合阿里云服务器进行项目的完整部署流程。作者强调，假设读者已经完成了本地的Django和客户端的联调工作，现在需要将项目部署到公网。首先...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值