我爬取了猪八戒网站的信息，发现了程序员做威客不得不进的坑

猪八戒威客网是一个比较成熟的威客社区，雇主和威客们双向选择，既方便了中小雇主，又方便广大程序员兼职挣外快，早日实现财务自由。

我在爬取了猪八戒网站近段时间的任务信息（约3000条）后，利用这些为数不多的样本数据，简单的模拟了一次数据分析。属于菜鸟级的数据分析，没有什么技术含量。

数据分析中最重要的是数据分析的思维、逻辑思考的方式，数据的获取、清洗、处理只能算是最初级、最基本的操作。

一、数据获取

使用万能的python语言，利用爬虫获取猪八戒网站上的任务信息，保存在本地。

二、数据清洗

对文件中的数据进行简单的清洗、去除垃圾数据，比如在地址栏中，正常地址山东济南历下，如果遇到直辖市会出现北京北京朝阳，为了后面处理方便，这里就需要把北京等直辖市的地名做一步处理。

三、数据分析

词云比较简单、直观、明了，在这里我主要进行了词云表示。

1、 雇主需求分析

图1 发布任务的词云图，对应于上面表格的标题，是雇主发布任务时的标题。可以看出，在这里软件开发、APP、Logo设计、微信开发、网站设计等需求比较多。

图2 需求类别词云。对应于上面表格中的任务类别，这个类别是在雇主发布任务时，给任务细分的类别，从中可以看出，Logo设计、网站开发、微信开发、APP开发依旧是热点。

2、 雇主地域分析

图3地域分布词云其实这一个如果以地图的形式显示出来效果可能更好，猪八戒网站是重庆的公司，当地的雇主占了很大一部分，其次就是北上广深这些一线城市。

 

3、 任务价钱分析

图4 任务价钱词云。可以看出，价格主要在1000以内，这也说明了威客平台主要针对中小企业的雇主发布任务。

4、 雇主关心的事

图5 任务详情词云。这个词云对应的是上面表格中的内容一栏，是雇主发布任务时的具体要求，我们可以看到，雇主关心的就是需求、预算和周期。简单地说，一是要满足雇主提出的要求、二是要尽可能控制成本，三是要按时间完成。这在我们线下做项目其实道理是一样的。

四、总结

一是猪八戒网主要面向的还是传统的互联网行业，比如微信开发、软件开发、logo设计等，因为面向的是中小企业可个人开发者，近年来新兴的技术和产业涉及的较少。

二是任务预算主要在1000以下，单个开发者要从事威客工作，还是应该以兼职的方式进行，如果是团队形式，那么只要分工明确，就可以全职接单，收入也会不菲。