一张图，看编程语言十年热度变化

作者 | 叶庭云

来源 | 修炼Python

头图 | 下载于视觉中国

什么是 TIOBE 排行榜

TIOBE 排行榜是根据互联网上有经验的程序员、课程和第三方厂商的数量，并使用搜索引擎（如Google、Bing、Yahoo!）以及Wikipedia、Amazon、YouTube 统计出排名数据，只是反映某个编程语言的热门程度，并不能说明一门编程语言好不好，或者一门语言所编写的代码数量多少。

TIOBE 开发语言排行榜每月更新一次，依据的指数是基于世界范围内的资深软件工程师和第三方供应商提供，其结果作为当前业内程序开发语言的流行使用程度的有效指标。

该指数可以用来检阅开发者的编程技能能否跟上趋势，或是否有必要作出战略改变，以及什么编程语言是应该及时掌握的。观察认为，该指数反应的虽并非当前最流行或应用最广的语言，但对世界范围内开发语言的走势仍具有重要参考意义。

2020 年，Python 再次获得年度编程语言荣誉。Python 在人工智能和数据科学领域的应用越来越来广泛，且在过去的一年里，Python 在处理疫情数据和舆情数据也发挥了巨大作用。至此，Python 已经第四次获得年度编程语言荣誉。

获取数据

获取 TIOBE 官网里历年编程语言热度数据，目标URL：https://www.tiobe.com/tiobe-index/

分析网页源代码可以找到我们想要的数据，利用正则表达式提取出数据，并保存到 Excel 中，便于后续数据处理和可视化。

爬虫代码如下：

 1# -*- coding: UTF-8 -*-
 2"""
 3@Author  ：叶庭云
 4@公众号  ：修炼Python
 5@CSDN    ：https://yetingyun.blog.csdn.net/
 6"""
 7import requests
 8import re
 9import openpyxl
10import logging
11
12logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
13headers = {
14    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1"
15}
16
17wb = openpyxl.Workbook()    # 创建工作簿对象
18sheet = wb.active           # 获取活动的工作表
19# 编程语言   时间    热度
20sheet.append(['Programing', 'Date', 'data_per'])
21
22url = 'https://www.tiobe.com/tiobe-index/'
23rep = requests.get(url, headers=headers).text
24
25# 正则匹配提取数据
26data = re.findall('{name : (.*?),data : (.*?)}', rep)
27programing = [eval(k[0]) for k in data]     # 编程语言
28dates = [i[1] for i in data]
29
30# 正则表达式处理 提取出想要的数据
31for x in range(len(dates)):
32    name = programing[x]
33    datas = re.findall(r'\[Date.UTC(.*?)]', dates[x], re.DOTALL)
34    for m in datas:
35        date1 = re.findall(r'\d+', m)       # 正则提取出数字
36        date2 = '-'.join(date1[:3])         # 拼接得到时间
37        data_per = '.'.join(date1[-2:])     # 得到热度数据
38        sheet.append([name, date2, data_per])
39        logging.info([name, date2, data_per])
40
41wb.save('language_data.xlsx')

结果如下：

成功提取出数据，并保存到Excel，在 jupyter notebook 环境中查看数据：

1import pandas as pd
2
3df = pd.read_excel('language_data.xlsx')
4df.sample(10)

1df['Programing'].unique()


3   df.info()

数据可视化

利用 pyecharts 绘制时间轮播图数据可视化，展示现在热度排 Top10 的编程语言 2011-2020 年这十年里平均热度变化。

 1# -*- coding: UTF-8 -*-
 2"""
 3@Author  ：叶庭云
 4@公众号  ：修炼Python
 5@CSDN    ：https://yetingyun.blog.csdn.net/
 6"""
 7import pandas as pd
 8import xlrd
 9import pyecharts.options as opts
10from pyecharts.charts import Timeline, Bar
11from pyecharts.globals import CurrentConfig, ThemeType
12
13
14CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/'
15
16# 提取现在的Top10编程语言
17name = list(pd.read_excel('language_data.xlsx')['Programing'].unique())
18
19data = xlrd.open_workbook('language_data.xlsx')
20table = data.sheets()[0]
21
22dic1 = {k: [] for k in name}
23# 各编程语言对应每年里不同时间的热度
24for i in range(1, table.nrows):
25 x = table.row_values(i)
26 dic1[x[0]].append((x[1], x[2]))
27
28# 与编程语言顺序对应  每年编程语言对应的不同时间的热度
29data_per = {k: [[] for x in range(10)] for k in range(2001, 2022)}
30print(data_per)
31
32count = 0
33for k, v in dic1.items():
34 print(k, v)
35for j in v:   # v (时间，热度)  热度数据添加进各年对应的列表里
36  data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各编程语言不同时间时的热度  对应
37 count += 1
38
39# print(data_per)
40data_per1 = {k: [] for k in list(data_per.keys())}
41
42for k, v in list(data_per.items()):
43for x in v:
44if len(x) == 0:                  # 这一年里该语言没有热度数据
45   data_per1[k].append(0)
46else:
47   avg = sum(x) / len(x)
48   data_per1[k].append(round(avg, 2))     # 这一年里的平均热度
49
50# 得到TOBIE现在排Top10的编程语言从2001年开始每年的平均热度
51print(data_per1)
52
53
54def get_year_overlap_chart(year) -> Bar:
55 sum_info = [(m, n) for m, n in zip(name, data_per1[year])]
56# 编程语言按每年平均热度排序
57 sum_info.sort(key=lambda z: z[1])
58 name_ = [m[0] for m in sum_info]
59 datas = [m[1] for m in sum_info]
60# 每根柱子的颜色列表
61 colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970',
62'#9932CC']
63 data_1 = []
64for item in range(10):
65  data_1.append(
66   opts.BarItem(
67    name=name_[item],
68    value=datas[item],
69    itemstyle_opts=opts.ItemStyleOpts(color=colors[item])   # 设置每根柱子的颜色
70   )
71  )
72# 绘制柱形图
73 bar = Bar()
74 bar.add_xaxis(name_)
75 bar.add_yaxis(series_name='热度', yaxis_data=data_1, is_selected=True,
76                  label_opts=opts.LabelOpts(is_show=False))
77 bar.reversal_axis()
78 bar.set_global_opts(title_opts=opts.TitleOpts(
79      title="2011-2020年编程语言热度变化"),
80      tooltip_opts=opts.TooltipOpts(
81      is_show=True, trigger="axis", axis_pointer_type="shadow"),
82                  xaxis_opts=opts.AxisOpts(name='平均热度'), yaxis_opts=opts.AxisOpts(name='编程语言'),
83 )
84return bar
85
86
87# 生成时间轴的图
88timeline = Timeline(init_opts=opts.InitOpts(theme=ThemeType.MACARONS, width="1200px", height="600px"))
89for y in range(2011, 2021):
90 timeline.add(get_year_overlap_chart(y), time_point=str(y))
91
92timeline.add_schema(is_auto_play=True, play_interval=1000)
93timeline.render("language_2011_2020.html")

结论

解决有时候 pyecharts 绘制的图形渲染在网页上无法加载 js 文件的问题：

• 根据网站资源引用说明：pyecharts 使用的所有静态资源文件存放于 pyecharts-assets 项目中

• 这个文件默认挂载在 https://assets.pyecharts.org/assets/，因为默认优先从远程引用资源，这就导致有的时候无法加载 js 文件，图表显示不出来。

解决办法：下载所需 js 文件到本地，修改资源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看网站的介绍，pyecharts提供了更改全局 HOST 的快捷方式。

1from pyecharts.globals import CurrentConfig
2
3CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 资源的路径

更多精彩推荐
☞明年，我要用 AI 给全村写对联☞Ant Design 遭删库！☞每年节省170万美元的文档预览费用，借助机器学习的DropBox有多强？☞对比四种爬虫定位元素方法，你更爱哪个？点分享点收藏点点赞点在看