做一个GitHub仓库统计工具

今天的主题是做一个简单的GitHub的仓库统计工具,目标是输入GitHub用户名获取其所有仓库的star以及fork数目,可以看作是一个简单的爬虫实战。

我们利用requests爬取GitHub所提供的仓库数据api,该api的格式如下,

https://api.github.com/users/<GitHub user name>/repos

这些json格式的数据是很方便解析的,我们只需要获取仓库名,仓库语言,标星数目以及fork数目这些Key对应的值即可。需要注意的是,fork而来的仓库不计算在内,因而我们需要对该布尔值进行判断,筛选出所有自建的仓库。

defcrawl(name):

    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
    flag=True
    repo=[]
    page=1
    while flag:
        url='https://api.github.com/users/{}/repos?page={}'.format(name,page)
        try:
            r=requests.get(url,headers=headers)
            data=r.json()
            if len(data) == 0:
                flag=False
            for i in data:
                if not i['fork']:
                    repo.append([i['name'],i['language'],i['stargazers_count'],i['forks_count']])
            page+=1
        except Exception as e:
            print(e)
            break
    repo=sorted(repo, key=lambda x: x[2], reverse=True)
    repo.append(['Total','/',sum([i[2] for i in repo]), sum([i[3] for i in repo])])
    return repo

获取数据之后做一些简单的处理,按照star数目将repo列表从高到低排列,接着对该用户的所有仓库进行加和统计。

接着就是数据的打印了,传统的打印输出不够美观,于是我用了prettytable,以表格的形式将仓库的数据整齐美观的打印出来。

defpretty_print(repo):

    x=PrettyTable()
    x.field_names=["Repository","language","Star","Fork"]
    for i in repo:
        x.add_row(i)
    print(x)

下面以我的账号为例,展示一下效果

除了仓库的api外,GitHub还提供了许多其它类型的api,可以用于查询项目最新的提交信息,用户的基本信息,用户的follows列表等等,非常方便。

《 图文并茂!60页PPT《快速入门python数据分析路线》(附链接)》



PPT领取方式:

扫描下方公众号回复:PPT,可获取下载链接

程序员资源社区

发布了174 篇原创文章 · 获赞 349 · 访问量 36万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览