1024，给可爱又迷人的数据科学工程师们

By 超神经

场景描述：一年一度的 1024 程序员节终于到了，可爱的程序员们，用手中的代码，改变着我们的生活，改变着我们的世界。在今天这个程序员专属的节日，我们想把最好的祝福送给你们，祝各位「对象不再 404，往后余生无 bug」。文末还有节日福利，千万别错过哦！

关键词：1024  程序员节

「生命不息，加班不止」的程序员们，终于在今天迎来了属于自己的节日，1024 程序员节，包括最性感的数据科学工程师们。

 

 

高薪又稀缺的数据科学工程师

随着大数据领域越来越热门，近年来， 数据科学工程师 ，也逐渐开始成为互联网行业的宠儿，国内不少互联网公司开始招聘、吸收数据科学人才。

在 2012 年《哈佛商业评论》中的一篇文中，「数据科学工程师」也被称为 「21 世纪最性感的工作」 。

该文章作者 DJ Patil 和 Thomas H. Davenport 写道： 「如果『性感』意味着具有急需的稀有品质，那么数据科学家已经具有了。 对他们的招聘既困难又昂贵，而且鉴于其服务市场竞争激烈，因此难以挽留。 」

据 Burning Glass 的 Nova 平台今年对数百万个职位进行数据分析后显示， 数据工程师仍是技术含量最高的职位 ，而且该职位数量在过去一年中增长了 88.3%。

数据工程师职位数量在一年中增长的百分比超过了

互联网领域多个职位

高薪与巨大需求让数据科学工程师这份工作变得炙手可热。 但是这并不是一份能够轻易胜任的工作。

 

「无所不能」的数据科学工程师

作为数据科学工程师，需要对业务逻辑和过程有着深刻的理解，对平台、服务和框架工作机制有着基本理解，并且能够在已有系统的条件制约下，针对具体问题，利用数据给出解决方案。

此外，数据科学工程师还需要有足够的工程思维，在设计解决方案的时候考虑到性能、抽象、泛化以及复用，从 ETL 到最终的数据分析每一步都要参与。

一些 IT 巨头，包括谷歌、亚马逊、Facebook 等，对数据工程师职位的要求是：

• 具备 Python，Java 或 Scala 的知识

• 大数据经验：Hadoop，Spark，Kafka

• 算法和数据结构知识

• 了解分布式系统的基础

• 具备 Tableau 或 ElasticSearch 等数据可视化工具的经验将是一大优势

由此可见，这个角色的门槛非常高，知乎上还有人总结了 数据科学工程师的技能集：

基础

• 线性代数基础（主要是矩阵及相关知识）

• 基本数据结构（哈希、二叉树、图）

• 关系代数、关系型数据库与非关系型数据库（内积、外积、叉乘、NoSQL）

• 分布式基础（分片、集群）

• 信息论与熵

• 基本的报告、商业智能及分析

• JSON 和 XML 格式

• 基础计算机学科：操作系统、计算机网络

• Linux 的基本使用

机器学习

• 机器学习基础知识

• 监督学习、非监督学习、半监督学习、强化学习

• 分类器、预测器、过拟合、偏差

• 分类：决策树、Boosting、朴素贝叶斯、K 近邻

• 回归：Logistic 回归、线性回归、感知机

• 神经网络、SVM

• 情感分析、协同过滤、实体识别

数据处理流程

• ETL 过程

• MapReduce 基本理解

• Hadoop 生态(Zookeeper, HDFS)

• Spark 生态

• NoSQL 数据库(MongoDB, Cassandra)

• 云服务的使用

• 各类配套工具：Flume, Scrapy 等等

• 数据可视化

看完这个技能集，内心对数据科学工程师的崇拜之情油然而生。 所以，1024 程序员节，你们，值得拥有！

 

节日抽奖，优秀的你不能错过

值此 「年度工程师大赏」 之际，超神经为大家准备了一份丰厚的节日福利，在你修炼成为数据科学大神的路上，助你一臂之力 。

    

留言送福利

在评论区留言互动，用一句话证明你是数据工程师吧！

截止到 10 月 28 日 11:00，留言点赞排名前五的小伙伴将收到机器学习算力平台 OpenBayes 赠送的 NVIDIA T4 100 小时使用时长 ！

NVIDIA T4 介绍：

16 GB 显存，拥有 320 个 Tensor 内核，混合精度可达 65 TFLOPs，4 核 CPU、30 GB 内存、 50 GB 存储。

闲话少说，快在下方留言， 一句话证明你是数据工程师吧！

—— 完 ——

扫描二维码，加入 AI 讨论群

获得更多优质数据集

了解人工智能落地应用

关注顶会&论文

回复「读者」了解详情