使用Python挖掘GitHub的流行趋势（上）

• 来源 | 愿码(ChainDesk.CN)内容编辑
• 愿码Slogan | 连接每个程序员的故事
• 网站 | http://chaindesk.cn
• 愿码愿景 | 打造全学科IT系统免费课程，助力小白用户、初级工程师0成本免费系统学习、低成本进阶，帮助BAT一线资深工程师成长并利用自身优势创造睡后收入。
• 官方公众号 | 愿码 | 愿码服务号 | 区块链部落
• 免费加入愿码全思维工程师社群 | 任一公众号回复“愿码”两个字获取入群二维码

---

本文阅读时长：10min

在本文中，我们将探讨如何利用Python的强大功能来收集和处理来自GitHub的数据并使其准备好分析。

GitHub采用广泛使用的版本控制方法，通过在编程领域实现社交网络功能，将编码提升到最高水平。GitHub允许您创建代码存储库并提供多种协作功能，错误跟踪，功能请求，任务管理和维基。它拥有大约2000万用户和5700万个代码库（来源：维基百科）。这些统计数据很容易证明这是程序员最具代表性的平台。它也是几个开源项目的平台，这些项目为软件开发领域做出了巨大贡献。假设GitHub使用了最新的编程工具和技术，分析GitHub可以帮助我们检测最流行的技术。存储库在GitHub上的受欢迎程度是通过它从社区收到的提交数量来评估的。我们将在本文中使用GitHub API来收集具有最多提交数量的存储库的数据，然后发现其中最流行的技术。

范围和流程

---

GitHub API允许我们获取有关用户提交的公共代码存储库的信息。它涵盖了许多开源，教育和个人项目。我们的重点是找到过去几个月的趋势技术和编程语言，并与过去几年的存储库进行比较。我们将收集有关存储库的所有元信息，例如：

• Name：存储库的名称
• Description：存储库的描述
• Watchers：人们关注存储库并获得有关其活动的通知
• Forks ：用户将存储库克隆到自己的帐户
• Open Issues：提交的有关存储库的问题

我们将使用这些数据，定性和定量信息的组合，来识别最新趋势和微弱信号。该过程可以通过下图中显示的步骤表示：

获取数据

---

在使用API之前，我们需要设置授权。API允许您访问所有公开可用的数据，但某些端点需要用户权限。您可以使用应用程序设置创建具有某些特定范围访问权限的新令牌。范围取决于您的应用程序的需求，例如访问用户电子邮件，更新用户配置文件等。 密码授权仅在某些情况下需要，例如用户授权的应用程序访问。在这种情况下，您需要提供用户名或电子邮件以及密码。
所有API访问均通过HTTPS进行，并可从https://api.github.com/ 域访问。所有数据都以JSON的形式发送和接收。

速率限制