【python爬虫】10行代码教你开发一个爬虫

gopyer

已于 2024-05-27 11:58:24 修改

阅读量703

点赞数 8

分类专栏： Python 文章标签： python 爬虫开发语言

于 2024-05-27 11:55:29 首次发布

本文链接：https://blog.csdn.net/fuxily/article/details/139234278

版权

Python 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文将介绍如何使用python开发一个爬虫，爬取的当前TIOBE排名前10的编程语言

创建项目文件夹

mkdir crawler-demo

安装必要的包

pipenv install requests beautifulsoup4

pipenv的安装和使用

源代码

import requests,bs4

res = requests.get("https://www.tiobe.com/tiobe-index/")
if res.status_code == 200:
    sp = bs4.BeautifulSoup(res.text,'html.parser')
    best = sp.select('tbody tr td:nth-child(5)')
    if len(best) != 0:
        print("TIOBE目前排名前10的编程语言是：")
        for i in range(0,10):
          print(f"Top {i+1}: {best[i].getText()}")

运行

(crawler-demo) jagitch@34c4dd4d4a3e:crawler-demo$ python main.py
TIOBE目前排名前10的编程语言是：
Top 1: Python
Top 2: C
Top 3: C++
Top 4: Java
Top 5: C#
Top 6: JavaScript
Top 7: Visual Basic
Top 8: Go
Top 9: SQL
Top 10: Fortran