Python爬取近十年TIOBE编程语言热度数据并可视化!

本文展示了如何使用Python通过requests和正则表达式爬取TIOBE编程语言热度数据,并利用openpyxl存储数据,通过pyecharts进行时间轮播图的数据可视化。文中详细解释了爬虫实现过程,以及pyecharts在数据展示时可能出现的资源加载问题及其解决方案。
摘要由CSDN通过智能技术生成

本文介绍如何利用requests+正则表达式爬取TIOBE编程语言热度数据,并使用openpyxl写入数据与pyecharts时间轮播图进行可视化。

一、数据获取

我们需要爬取的目标url为https://www.tiobe.com/tiobe-index/打开之后如下

分析网页源代码可以找到想要的数据,利用正则表达式提取出想要的数据,并保存到Excel中,便于后续数据处理和可视化。

完整爬虫代码如下,其中大多数语句都给出了详细注释,感兴趣的读者可以进一步研究。

# -*- coding: UTF-8 -*- 
""" 
@File    :spider.py 
@Author  :叶庭云 
@CSDN    :https://yetingyun.blog.csdn.net/ 
""" 
import requests 
import re 
import openpyxl 
import logging 
 
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') 
headers = { 
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" 
} 
 
wb = openpyxl.Workbook()    # 创建工作簿对象 
sheet = wb.active           # 获取活动的工作表 
# 编程语言   时间    热度 
sheet.append(['Programing', 'Date', 'data_per']) 
 
url = 'https://www.tiobe.com/ti
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值