如何获取大名鼎鼎的Hacker News信息，40行Python轻松搞定！

点击上方“菜鸟学Python”，选“星标”公众号

重磅干货，第一时间到达

Hacker News译为中文为黑客的新闻，看到黑客 这个词语，总带着一丝神秘，相信每个程序员都有成为一名黑客的梦想，小编当然也有这个梦想。

Hacker News 是一家关于计算机黑客和创业公司的社会化新闻网站，由硅谷教父保罗·格雷厄姆的创业孵化器 Y Combinator 创建。在程序员圈，尤其是技术大神圈里，非常流行，里面有很多第一手的技术圈资料和新鲜八卦趣事，号称程序员圈的"微博"。今天小编用Python带大家40行Python代码搞定！

01 Hacker News API介绍

在探索Hacker News的过程中，小编在GitHub上发现一个关于该网站的API接口，该接口与Firebase合作，可以实时地提供公共的Hacker News数据，利用该接口，可以快速爬取网站数据。

该API提供了数据接口https://hacker-news.firebaseio.com/v0/其中V0是API的版本号，所有信息都是基于这个接口添加后缀进行。下面将进行展示。

信息接口

在接口后输入/v0/item/id.json，其中id指定信息的唯一id，便可访问该信息的相关属性。

每条信息包含以下属性：

用户信息

在接口后面接入/v0/user/user.json,便可访问用户消息

每条信息包含以下属性：

02.接口介绍

API中还提供了查看实时数据的各种接口，方便大家调用，下面小编给大家展示2个最常用的接口。

比如查看最新的文章

在接口后面接入/v0/user/maxitem.json,便可查看最新的文章id

比如查看最热门的故事

• 在接口后面接入/v0/user/topstories.json,便可查看最热门的500个故事。

• 在接口后面接入/v0/user/newstories.json,便可查看最新的500个故事。

• 在接口后面接入/v0/user/beststories.json,便可查看最好的500个故事。

03 API的调用

小编这里调用/v0/topstories.json，查看Hacker News中最热门的信息id，再根据id，在调用信息接口/v0/item/<id>.json获取该信息的相关介绍，下面展示其中的核心爬虫代码：

然后对于每一个id的具体的文章信息，用gethtml进行解析

上面便是获取Hacker News中top500的文章的代码。为了解决requests对网页读取等待时间过长而卡住，小编这里使用了gethtml函数，再等待5秒后无响应，重新进行请求，5次之后仍没有结果则跳过。

我们看一下爬取的信息：

上图展示的小编爬到的相关信息，接下来小编就带大家一起看一看所有信息中哪一种类型的信息最受欢迎。在小编爬取的数据中共有449条有效数据，其中种类story占比99.78%，job为0.22%，可见story是haceker们最喜欢的类型。

接下来小编在首页中文章数量最多的作者进行了展示，todsacerdoti、rbanffy、bookofjoe、AndrewBissell、Reedx是排名前五的作者，不知道有没有大家喜欢的作者呢。

如果大家对Hacker感兴趣的话，可以去该网站看看Hacker们喜欢的文章，也许你会有新的发现哦！欢迎在留言区点评，记得给个三连哦！

我是菜鸟哥，一个学习Python的菜鸟！

近期八大热门：

发现一个舔狗福利！这个Python爬虫神器太爽了，自动下载妹子图片！
盗墓热再起！我爬取了6万条《重启之极海听雷》的评论，发现了这些秘密
用Python一键生成炫酷九宫格图片，火了朋友圈
菜鸟也疯狂！8分钟用Python做一个酷炫的家庭随手记
Github获8300星！用Python开发的一个命令行的网易云音乐
一道Python面试题，硬是没憋出来，最后憋出一身汗！卧槽！Pdf转Word用Python轻松搞定！教你6招，不错的Python代码技巧！

由菜鸟学Python原班人马打造的公众号：程序员GitHub，现已正式上线！接下来我们将会在该公众号上，为大家分享GitHub上优质的开源神器，程序员圈的趣事，坚持每天一篇原创文章的输出，感兴趣的小伙伴可以关注一下哈！

我们在B站上录制了大量的视频，欢迎大家交流学习

1). 花木兰到底好看不，我用Python爬取上万条评论

2). 80行Python代码一键轻松把Pdf转word

3). 用Python一键把图片转漫画

4). 再见付费软件，我用70行Python搞定

5). 用Python分析“青春有你2”

6). 用Python三步制作短视频

7). 用Python实现一个弹球游戏

8). 10行代码实现美图秀秀

9). 50行代码用Python批量做海量小姐姐素描图

10).用Python做一个动态语言排行榜

11).我用Python集齐五福

点这里，直达我们的B站大本营