【芝麻IP代理】Python的五个数据项目，你知道吗？

【芝麻IP代理】大数据时代下，生活和数据息息相关，越来越多的行业和个人都需要大数据的帮助。这样的背景下，数据采集成为技术主流，但是大量的采集受到了各种限制，其中最为常见的就是IP受限，该如何解决代理IP的问题也成为一大问题。

一、数据清洗

数据科学家往往要耗费高达80%的时间来清理新项目的数据，这是数据科学团队最大的痛点。如果能告诉他们你拥有丰富的数据清理经验，你的价值马上就能体现出来了。现在，找一些需要清理的数据集，创建一个数据清洗项目，开始数据清理吧。

用Python的话，Pandas绝对是首选，如果用的是R，可以使用dplyr这个包。记得要表现出以下几项技能：

导入数据；

合并多个数据集；

检测缺失值；

检测异常值；

插入缺失值；

数据质量验证。

二、探索性数据分析

数据科学的另一项重要工作是探索性数据分析（EDA，Exploratory Data Analysis ），它是提出问题、使用可视化方法研究问题的过程。探索性数据分析可以让分析师通过数据得出结论，进而影响业务决策。这项工作可以是通过客户细分得出洞察结果，也可以是分析季节因素对销售趋势的影响。一般来说，探索性数据分析会带来一些让人意想不到的发现。

Python用户可以使用Pandas和Matplotlib（译注：强烈推荐国内用户使用PyEcharts，交互式的可视化图，非常好用！)这两个库进行探索性数据分析。R用户可以使用ggplot2这个包，也非常实用。

探索性数据分析这个项目要展示出如下几方面的技能：

能够提出探索性的问题；

能够识别趋势；

能够识别变量的共变性（covariation）；

能够使用可视化（散点图、直方图，箱须图等）有效地沟通分析结果。

三、交互式数据可视化

     

交互式数据可视化包括使用Dashboard这样的工具。数据科学团队和终端业务用户都喜欢使用这些工具。数据科学团队可以使用Dashboard进行协作，一起开展数据分析工作。更重要的是，Dashboard为终端业务用户提供了交互式的工具，让他们把精力放在战略目标上，而不用关注过多的技术细节。很多时候，数据科学团队提交给用户的可交付成果都是以Dashboard这种形式体现的。

Python用户可以使用Bokeh和Plotly，这两个库都是编制Dashboard的利器。R用户则必选RStudio的Shiny包。

Dashboard的项目一定要突出以下这些重要的技能：

列出客户需求相关的指标；

提取有用的特征；

使用有逻辑的布局，比如易于浏览的“F模式”；

创建最优的刷新率；

生成报告或其它自动化的操作。

四、机器学习

机器学习项目是你的作品集里另一项非常重要的内容。

我建议从线性回归与逻辑斯蒂回归做起，和高管沟通时，解释这些模型也会相对容易一点。这个项目的重点应该是突出项目对业务的影响，比如客户流失、欺诈监测，或贷款拖欠这些内容。

机器学习项目是你的作品集里另一项非常重要的内容。

Python用户可以用 Scikit-learn这个机器学习库，R用户可以使用Caret这个包。机器学习项目要传达给读者你具有以下技能：

能够说明选择某个机器学习模型的原因；

能够避免过拟合，将数据分割为训练集与测试集（K折交叉验证）；

能够选择正确的评估指标（AUC~Area Under Curve, 调整R方~Adj-R2, 混淆矩阵~confusion matrix）；

能够开展特征工程与选择的能力；

能够进行超参数调优。

五、沟通

沟通对于数据科学的重要性比你想的要大得多，能否有效地沟通、交流数据分析结果是区分牛X数据科学家和普通数据科学家的标准。不管你做的模型多花哨，如果不能给同事或客户讲清楚，不能让他们理解，就没人会买你的账。幻灯片和笔记是超强大的沟通工具，你可以尝试把机器学习项目改造成幻灯片，还可以使用Jupyter Notebook或RMarkdown辅助沟通。

首先要搞清楚目标受众是谁，给公司高管做汇报和给机器学习专家做演讲完全是两码事儿。注意要突出以下这些能力：

搞清楚你的目标受众是谁；

展示可视化图；

幻灯片要清爽，不要塞进去太多信息；

陈述流程一定要流畅；

结合业务影响（比如减少成本、增加收入）说明分析结果。

使用Jupyter Notebook或RMarkdown文件记录项目，也可以使用免费的Github Pages将Markdown文件转化为静态网页。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31561243/viewspace-2564520/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31561243/viewspace-2564520/