【爬虫与分析】--针对网易云课堂万部视频数据的实战

本文主要内容为对网易云课堂抓取的数据进行分析，总抓取课程数据11253条，剔除价格异常(>2W)和课时数异常(>300节)的数据，剩余11184条数据(腾讯课堂的课程数也差不多也是这个量级)。

整个分析中可以考虑的数据：

• 维度：课程栏目、授课方、价格区间、是否免费课程等；

• 指标：学习人数，价格(原价和折后价)，折扣率(优惠价/原价)，评分，课程小节数等。

主要分析内容：

• 不同课程栏目的课程和学习情况；

• 不同价格区间的课程分布情况

• 课程标题的关键字统计；

如果你有其他分析思路，可以公众号聊天框内发送”网易云课堂数据“获取原始数据下载链接。

无论从课程总数还是学习人数来看，生活兴趣、职业提升是最热门的两个栏目(基本上就是”半壁江山“)。

整体而言，免费课程数占比在26.7%

貌似科技含量越高的栏目，免费课程的占比越高。

对于付费课程，80%以上的课程(数量)集中在(8,997]的价格区间内(注，考虑到课程价格喜欢以8,9结尾，故此处采用的分界点为7).

这里以“原价”作为价格的划分依据，没有排除那些课程价格虚高的课程，比如有的课程定价3999，折后价199(https://study.163.com/course/introduction/1442008.htm)

学习人数的分布情况和课程数量的分布情况大致相同，如果要受众更广泛，一般课程价格建议在200以内，否则“曲高和寡”。

收入最高的课程Top10

top10的课程中有4门课都是“幻方秋叶PPT”出品，秋叶老师~请收下我的膝盖~请让我抱您的大腿~

注：最后的列revenue就是单课累计收入，单课累积收入 = 单课累积学习人数*折扣后价格

学习人数最多的课程Top10

区块链有多火可以在此窥见一斑，学习人数top10的课程只有1门是收费的——讲的是手机摄影，这个技能好啊，男女通用，设备也方便，受众大有人在啊。

不同栏目的课程标题关键词分析(基于词频的统计)

【编程与开发】栏目的4大关键词：实战、入门、开发、基础

嗯~编程讲究的就是“动手”(实战)

【产品与运营】栏目的4大关键词：运营、媒体、产品、营销

从词云图中还可以发现一些大流量媒体的名称，比如抖音、公众号、微信等。

【电商运营】栏目的4大关键词：运营、淘宝、课程、新手

目前C2C的电商模式主要是在淘宝，这个应该是“淘宝”关键词如此高频的原因之一，另外淘宝也是最早有店铺运营基础的平台。

【设计创意】栏目的4大关键词：教程、基础、设计、入门

【生活兴趣】栏目的3大关键词：基础、课程、入门

估计是兴趣的范围广泛，所以没有特别突出的关键词，不过词云图中可以发现基金、投资、水彩、乐理、油画等频率较高词——赚钱和艺术，物质和精神都需要啊。

【语言学习】栏目的4大关键词：英语、韩语、基础、入门

英语无疑是语言学习中占统治地位(毕竟考试会考嘛)，没想到的韩语竟然位居第二，第三的是日语。另外从关键字可以看出语言学习的课程主要在于“读”和“说”。

【职场面试】栏目的4大关键词：职场、面试、求职、管理

【职业考试】栏目的4大关键词：精讲、2019、实务、班

关键词也突出了这个栏目的特点：时效性(2019)上一般强调最近要进行的考试，针对性上强调“精讲”和“实务”。

【AI/数学科学】栏目的4大关键词：实战、数据、入门、基础

从下面的词云图中我们还可以看到有些数据工具的关键字，比如Python, SQL, Matlab, Oracle等，这里面最高频的就是“Python”。如果你想从事数学科学，建议首选Python，Python的学习门槛低(语法简单)，适用场景广(不仅仅可以用来做数据分析).

我们可以看到“基础”和“入门”基本上是最高频的关键字了，这可能和两个因素有关：

• 对讲师要求不高(供应方群体庞大)，也可以理解为入门的老师就可以讲入门的课程，通常这类讲师的基数也是最大的，毕竟精英总是少数；

• 对学生要求不高(需求方数量众多)，很多要学习课程的基本都是0基础，而且0基础的用户群体也最为庞大，这也是很多课程强调“入门”和“基础”的重要原因.

不过，市场竞争非常激烈，笔者发现网易云课堂上的课程有非常明显的“头部效应”，也可以理解为“28原则”，就是低于20%的课程开发机构获得了超过80%的平台收入，下图展示的是单课收入的“长尾分布”。

为了方便图表展示，这里限定了收入在100W以内的课程，实际上TOP级的课程收入可以达到千万元以上(见收入最高的10门课程)。

课程学习人数上也存在“长尾分布”现象，单课学习人数的中位数不到30，如果你是在网易云课堂上开课的老师，如果你的课程学习人数不到30人，不要慌，至少有50%以上的课程都是这样(现实真的太残酷了)。

以下是各栏目收入TOP10的课程机构榜单，如果你也想开课，不妨从这些“头部”机构中学习经验。

补充说明：

• 爬虫代码，请移步至：https://github.com/hscheng/python/tree/master/02_网络爬虫；

• 如需获得本文原始数据，可以公众号聊天框内发送”网易云课堂“获取原始数据下载链接；