【python】动态可视化+爬虫(超燃超简单)

一、可视化库pynimate

这里推荐个动态可视化库pynimate,2023年还在持续更新中。调用他们动态可视化方法,实现起来不要太简单。

pynimate官方地址

首先看下他们官方例子
注意需要python版本>=3.9

import pandas as pd
from matplotlib import pyplot as plt

import pynimate as nim

df = pd.DataFrame(
    {
        "time": ["1960-01-01", "1961-01-01", "1962-01-01"],
        "Afghanistan": [1, 2, 3],
        "Angola": [2, 3, 4],
        "Albania": [1, 2, 5],
        "USA": [5, 3, 4],
        "Argentina": [1, 4, 5],
    }
).set_index("time")

cnv = nim.Canvas()
bar = nim.Barhplot.from_df(df, "%Y-%m-%d", "2d")
bar.set_time(callback=lambda i, datafier: datafier.data.index[i].year)
cnv.add_plot(bar)
cnv.animate()
plt.show()

在这里插入图片描述

二、爬取数据

会了可视化,但是没有数据怎么办?去网上爬取点数据过来。

网址链接

从这个网站爬取近20年编程语言热度占比

这个爬起来很简单,信息全在界面上面,也不需要验证登录啥的,直接request+正则表达爬取信息,爬取到信息保存到csv文件。

在这里插入图片描述

import pandas as pd
import requests
import re

url = "https://www.tiobe.com/tiobe-index/"
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"}

response = requests.get(url, headers=headers)
htmlText = response.text

d = dict()
datas = re.findall('{name : .*?}', htmlText)
dates = re.findall('Date.UTC\((.*?)\)', datas[0])
# 时间
date_list = []
for date in dates:
    t = date.replace(" ", "").split(",")
    t[1] = str(int(t[1]) + 1)
    y_m_d = "-".join(t)
    date_list.append(y_m_d)
d["time"] = date_list

for i in datas:
    name = re.findall("name : '(.*?)'", i)[0]
    value_list = []
    values = re.findall('\), (.*?)]', i)
    for value in values:
        value_list.append(eval(value))
    if len(value_list) != len(date_list):   # 有些编程语言缺少近20年数据,为了方便直接不要
        print(name, len(value_list))
        continue
    d[name] = value_list

df = pd.DataFrame(d).set_index("time")
df.to_csv("test.csv")

三、动态可视化

排版借鉴 小馒头博客

from matplotlib import pyplot as plt
import pandas as pd
import pynimate as nim

plt.rcParams['font.family'] = 'SimHei'  # 显示中文
df = pd.read_csv("test.csv").set_index("time")


def post_update(ax, i, datafier, bar_attr):
    ax.spines["top"].set_visible(False)
    ax.spines["right"].set_visible(False)
    ax.spines["bottom"].set_visible(False)
    ax.spines["left"].set_visible(False)
    ax.set_facecolor("#001219")


# Canvas类是动画的基础
cnv = nim.Canvas(figsize=(12, 7), facecolor="#001219")
# 使用Barplot模块创建一个动态条形图, 插值频率为10天 post_update美化格式 n_bars最大显示多少条默认为10
bar = nim.Barplot(df, "%Y-%m-%d", "10d", xticks=False, post_update=post_update, rounded_edges=True, grid=False,
                  n_bars=5)
# 编程热度值
bar.set_title(title="编程语言热度占比(%)", size=20, color="w", weight=800)
# 使用了回调函数, 返回以年、月为单位格式化的datetime
bar.set_time(callback=lambda i, datafier: datafier.data.index[i].strftime("%Y,%m"), color="w", y=0.1)
bar.set_bar_annots(color="w", size=30)  # 显示热度占比值
bar.set_xticks(colors="w", length=0, labelsize=20)
bar.set_yticks(colors="w", labelsize=20)
bar.set_bar_border_props(edge_color="black", pad=0.1, mutation_aspect=1, radius=0.2, mutation_scale=0.6)
# 将条形图添加到画布中
cnv.add_plot(bar)
cnv.animate()
# plt.show()
cnv.save("file", 24, "mp4")	# 保存视频

在这里插入图片描述
恭喜!成功啦!

  • 20
    点赞
  • 85
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 18
    评论
以下是一个Python爬虫建筑案例的可视化案例: 1. 爬取数据 我们可以使用Python爬虫爬取一些建筑的信息,例如高度、建造年份和位置等。这里我们以Emporis网站上的建筑信息为例: ```python import requests from bs4 import BeautifulSoup url = 'https://www.emporis.com/statistics/tallest-buildings' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') buildings = [] for building in soup.find_all('div', class_='statistics__building'): name = building.find('h4').text height = building.find('div', class_='statistics__value').text year = building.find_all('div', class_='statistics__value')[1].text location = building.find('div', class_='statistics__location').text buildings.append({'name': name, 'height': height, 'year': year, 'location': location}) ``` 2. 可视化数据 接下来,我们可以使用plotly库将爬取到的数据可视化出来: ```python import plotly.graph_objs as go from plotly.subplots import make_subplots fig = make_subplots(rows=1, cols=2, specs=[[{'type': 'xy'}, {'type': 'mapbox'}]]) x = [building['name'] for building in buildings] y = [float(building['height'].replace(',', '')) for building in buildings] z = [building['location'] for building in buildings] year = [int(building['year']) for building in buildings] fig.add_trace(go.Bar(x=x, y=y), row=1, col=1) fig.add_trace(go.Scattermapbox(lat=[40.7128], lon=[-74.0060], mode='markers', marker={'size': 10}), row=1, col=2) fig.update_layout(mapbox_style='open-street-map', mapbox_center_lat=40.7128, mapbox_center_lon=-74.0060, mapbox_zoom=2) fig.show() ``` 这段代码将建筑的高度以柱状图的形式展示出来,建筑的位置以地图的形式展示出来。通过这种方式,我们可以更加直观地观察到各个建筑之间的高度差异以及它们的位置分布情况。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 18
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

读书猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值