建模分析师与算法工程师的主要区别

大家晚上好，我是新来的实习生小模君，前几天小智老师给我科普了数据挖掘的基础知识，颇有收获，于是就趁小天今天有事休假冒个泡跟大家分享一番。

数据挖掘，英文名叫Data mining，一般是指从大型数据库中将隐藏的预测信息抽取出来的过程，而更为精确的解释则是“从数据中挖掘知识”。

这个概念乍眼一看有点懵，毕竟从数据中挖掘出知识的说法是小模君以前没有接触过的。

因此小智老师只好举个栗子解释：

假如某东需要预测用户在未来5天内的购买需求，以达到精准营销的目的，那么此时完全可以借助数据挖掘实现。

通过数据挖掘技术和机器学习算法，在以某东真实的用户、商品和行为数据（脱敏后）为基础的情况下，构建一个用户购买商品的预测模型，输出高潜用户和目标商品的匹配结果，从而提供高质量的目标群体，实现精准营销。

也就是说，我们能够从海量的数据中挖掘出有用知识服务于我们的工作。

而就目前而言，数据挖掘大致上是可以分为四个层次：纯粹数据加工、傻瓜式挖掘、较为自由的挖掘以及算法拆解和开发。

（一）纯粹数据加工

这一层次主要侧重于变量的加工和预处理，主要的加工工具就是大家比较熟悉的SQL和SAS base。

从源系统或数据仓库，对相关数据进行提取、加工、衍生处理，生成各种业务表。紧接着，以客户号为主键，将这些业务表整合汇总出一张大宽表，而这张宽表就是所谓的“客户画像”。

 

（二）傻瓜式挖掘

傻瓜式操作的优点就是让数据挖掘变得入手快且简单，但是，众所周知傻瓜式操作必然存在缺陷，比如挖掘的过程会很单调无趣，没办法批量运算模型等等。而较为典型的工具有SAS EM和clementine。

这两种工具已经嵌入了很多较为传统成熟的算法、模块和节点（如大家很熟悉的神经网络以及前几天小天提到的决策树等）。只需鼠标的托拉拽，基本上就可以满足你挖掘数据的需求。

因此，在熟练操作这些工具的情况下，若想进一步提升建议需要抛弃它们。

 

（三）较为自由的挖掘

在这个层次，典型的工具就是R和Python这两个开源工具，前者是统计学家开发的，而后者则是计算机学家开发的。

它们不但有较多前沿且成熟的算法包调用，还能对既有的算法包进行修改调整，以适应分析需求，十分的灵活。此外，Python在文本、社会网络方面的处理，功能比较强大。

 

（四）算法拆解和自行开发

到了这一层次，说明你们已经拥有了重新编写算法代码的能力，比如用自己的代码实现逻辑回归运算过程，甚至根据业务需求和数据特点，更改其中一些假定和条件，以提高模型运算的拟合效果。

一般而言，大多数人会利用python、c、c++进行算法拆解和开发。

可以看到，四个层次中出现最多的就是python，因此可以这么说掌握了python，掌握数据挖掘也就不在话下了！

而根据当前互联网的招聘和对技能的需求来说，当你已经顺利度过前三个层次的时候，建模分析师的职位是妥妥的，如果再更进一步到达了第四层次，相信你就是当之无愧的算法工程师了！

那么，怎么才能更好地掌握数据挖掘，最高效的学习路径应该是什么样的呢？

此时，我们最先要做的就是了解数据挖掘的大致流程。

（一）数据读取

既然是叫数据挖掘，那么可以看出数据是重中之重，因此第一步就应该把数据读取出来。

（二）特征理解分析

数据读出来了，但并不代表这些数据都是有用的，因此需要根据数据的特征进行理解和分析，考虑变量与结果的关系，最后绘图得出结论，辅助判断，进而选出有价值的数据。

（三）数据清洗与预处理

选出了有价值的数据就可以马上建立模型了吧？别想太多，还得先清洗和预处理数据。虽然这一步看似很简单，但是实际上它是整个数据挖掘过程中最耗时的，大概占了70-80%的时间。

如何对数据进行恰当的处理使得最终能够获取最合适的数据是这一步需要解决的。请记住，数据决定了模型的上限。

（四）建立模型

完成了最重要的第三步之后，就可以开始建模了，通过多种算法的对比以及参考他人的策略进行建模与优化，最终得出合适的模型。

基本了解完数据挖掘的一些基础知识，但是如何才能掌握数据挖掘，成为一名算法工程师呢？与其自学而苦苦不得入门，还不如跟随经验丰富的老师快速提升更为有效。

为此超级数学建模携手唐宇迪老师以Python和真实数据集为基础，给你精心准备了《Python数据挖掘实战》课程！

本课程将通过59学时系统详解借助Python数据科学库进行数据挖掘、建模和分析的原理与应用，并结合真实案例进行课程教学与实战训练，同时课后唐老师还会及时跟踪答疑。

即便是纯小白，小模君相信学习该课程不会有太大的压力。

课 程 详 情

【课程信息】

「 课程名称 」

Python数据挖掘实战课程

（共59学时）

「 学习平台 」

腾讯课堂

「 上课形式 」

课程均为录播视频

报名即可反复观看

「 课前准备 」

了解数据挖掘基本概念

掌握python基本概念

「 学习周期 」

建议每周至少学习2小时，一个月内可完成两遍

「 面向人群 」

数据挖掘爱好者、科研工作者、

人工智能、机器学习爱好者、

零基础的小白

「 答疑形式 」

学习群老师随时答疑，即便是最初级的问题

「 课程资料 」

知识解读、操作详解、课程代码、实战案例

「 课程收益 」

1.快速掌握数据挖掘的基础知识

2.掌握数据建模的原理与应用

3.可独立完成项目实战

「 课程福利」

课程优惠活动 

「 学习入口」

报名请长按下方二维码

授 课 老 师

作为本次课程的主讲人，唐老师将自己多年的机器学习、数据挖掘经验和Python使用技巧分享给大家。所以课程不仅是知识，还有思维和方法，你完全可以做到举一反三。

课 程 优 惠

「优惠券」

你是新学员

限量发放50元优惠券，后台回复“数据挖掘”即可领取

你是老学员（报名过我们任一付费课程的学员均是老学员）

评价已报名的课程，并截图发给助教，即可领取55元优惠券

注意事项：

• 优惠券长期有效

• 课程价格：¥298

• 老学员评价课程后请及时联系助教领券

• 报名后请及时联系助教进入学习群

大鱼QQ：210187565

小天QQ：3059923348

小模君微信：wkwxj001

请长按下方二维码

获取详细课程目录

长按下方二维码

添加助教小七

获取更多详情 

如有任何疑问和购买问题，可咨询助教

QQ：2695394598

微信：wkwxj001

Python交流群：114109947

欢迎来撩~

-  更多实用课程推荐  -

点击 ☞机器学习应该掌握的20个知识点

点击 ☞数据分析快速入门指南

点击下方“阅读原文”，查看课程