大数据相关岗位需了解信息

转载 2016年08月30日 09:13:50

自己的专业方向是机器学习、数据挖掘,就业意向是互联网行业与本专业相关的工作岗位。各个企业对这类岗位的命名可能有所不同,比如数据挖掘/自然语言处理/机器学习算法工程师,或简称算法工程师,还有的称为搜索/推荐算法工程师,甚至有的并入后台工程师的范畴,视岗位具体要求而定。

机器学习、大数据相关岗位的职责

自己参与面试的提供算法岗位的公司有 BAT、小米、360、飞维美地、宜信、猿题库 等,根据业务的不同,岗位职责大概分为:

  1. 平台搭建类
    • 数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能还需要底层开发、并行计算、分布式计算等方面的知识;
  2. 算法研究类
    • 文本挖掘,如领域知识图谱构建、垃圾短信过滤等;
    • 推荐,广告推荐、APP 推荐、题目推荐、新闻推荐等;
    • 排序,搜索结果排序、广告排序等;
    • 广告投放效果分析;
    • 互联网信用评价;
    • 图像识别、理解。
  3. 数据挖掘类
    • 商业智能,如统计报表;
    • 用户体验分析,预测流失用户。

以上是根据本人求职季有限的接触所做的总结。有的应用方向比较成熟,业界有足够的技术积累,比如搜索、推荐,也有的方向还有很多开放性问题等待探索,比如互联网金融、互联网教育。在面试的过程中,一方面要尽力向企业展现自己的能力,另一方面也是在增进对行业发展现状与未来趋势的理解,特别是可以从一些刚起步的企业和团队那里,了解到一些有价值的一手问题

以下首先介绍面试中遇到的一些真实问题,然后谈一谈答题和面试准备上的建议。

面试问题

  1. 你在研究/项目/实习经历中主要用过哪些机器学习/数据挖掘的算法?
  2. 你熟悉的机器学习/数据挖掘算法主要有哪些?
  3. 你用过哪些机器学习/数据挖掘工具或框架?
  4. 基础知识
    • 无监督和有监督算法的区别?
    • SVM 的推导,特性?多分类怎么处理?
    • LR 的推导,特性?
    • 决策树的特性?
    • SVM、LR、决策树的对比?
    • GBDT 和 决策森林 的区别?
    • 如何判断函数凸或非凸?
    • 解释对偶的概念。
    • 如何进行特征选择?
    • 为什么会产生过拟合,有哪些方法可以预防或克服过拟合?
    • 介绍卷积神经网络,和 DBN 有什么区别?
    • 采用 EM 算法求解的模型有哪些,为什么不用牛顿法或梯度下降法?
    • 用 EM 算法推导解释 Kmeans。
    • 用过哪些聚类算法,解释密度聚类算法。
    • 聚类算法中的距离度量有哪些?
    • 如何进行实体识别?
    • 解释贝叶斯公式和朴素贝叶斯分类。
    • 写一个 Hadoop 版本的 wordcount。
    • ……
  5. 开放问题
    • 给你公司内部群组的聊天记录,怎样区分出主管和员工?
    • 如何评估网站内容的真实性(针对代刷、作弊类)?
    • 深度学习在推荐系统上可能有怎样的发挥?
    • 路段平均车速反映了路况,在道路上布控采集车辆速度,如何对路况做出合理估计?采集数据中的异常值如何处理?
    • 如何根据语料计算两个词词义的相似度?
    • 在百度贴吧里发布 APP 广告,问推荐策略?
    • 如何判断自己实现的 LR、Kmeans 算法是否正确?
    • 100亿数字,怎么统计前100大的?
    • ……

答题思路

  1. 用过什么算法?
    • 最好是在项目/实习的大数据场景里用过,比如推荐里用过 CF、LR,分类里用过 SVM、GBDT;
    • 一般用法是什么,是不是自己实现的,有什么比较知名的实现,使用过程中踩过哪些坑
    • 优缺点分析。
  2. 熟悉的算法有哪些?
    • 基础算法要多说,其它算法要挑熟悉程度高的说,不光列举算法,也适当说说应用场合;
    • 面试官和你的研究方向可能不匹配,不过在基础算法上你们还是有很多共同语言的,你说得太高大上可能效果并不好,一方面面试官还是要问基础的,另一方面一旦面试官突发奇想让你给他讲解高大上的内容,而你只是泛泛的了解,那就傻叉了。
  3. 用过哪些框架/算法包?
    • 主流的分布式框架如 Hadoop,Spark,Graphlab,Parameter Server 等择一或多使用了解;
    • 通用算法包,如 mahout,scikit,weka 等;
    • 专用算法包,如 opencv,theano,torch7,ICTCLAS 等。
  4. 基础知识
    • 个人感觉高频话题是 SVM、LR、决策树(决策森林)和聚类算法,要重点准备;
    • 算法要从以下几个方面来掌握
      • 产生背景,适用场合(数据规模,特征维度,是否有 Online 算法,离散/连续特征处理等角度);
      • 原理推导(最大间隔,软间隔,对偶);
      • 求解方法(随机梯度下降、拟牛顿法等优化算法);
      • 优缺点,相关改进;
      • 和其他基本方法的对比;
    • 不能停留在能看懂的程度,还要
      • 对知识进行结构化整理,比如撰写自己的 cheet sheet,我觉得面试是在有限时间内向面试官输出自己知识的过程,如果仅仅是在面试现场才开始调动知识、组织表达,总还是不如系统的梳理准备;
      • 从面试官的角度多问自己一些问题,通过查找资料总结出全面的解答,比如如何预防或克服过拟合。
  5. 开放问题
    • 由于问题具有综合性和开放性,所以不仅仅考察对算法的了解,还需要足够的实战经验作基础;
    • 先不要考虑完善性或可实现性,调动你的一切知识储备和经验储备去设计,有多少说多少,想到什么说什么,方案都是在你和面试官讨论的过程里逐步完善的,不过面试官有两种风格:引导你思考考虑不周之处 or 指责你没有考虑到某些情况,遇到后者的话还请注意灵活调整答题策略;
    • 和同学朋友开展讨论,可以从上一节列出的问题开始。

准备建议

  1. 基础算法复习两条线
    • 材料阅读 包括经典教材(比如 PRML,模式分类)、网上系列博客(比如 研究者July),系统梳理基础算法知识;
    • 面试反馈 面试过程中会让你发现自己的薄弱环节和知识盲区,把这些问题记录下来,在下一次面试前搞懂搞透
  2. 除算法知识,还应适当掌握一些系统架构方面的知识,可以从网上分享的阿里、京东、新浪微博等的架构介绍 PPT 入手,也可以从 Hadoop、Spark 等的设计实现切入。
  3. 如果真的是以就业为导向就要在平时注意实战经验的积累,在科研项目、实习、比赛(Kaggle,Netflix,天猫大数据竞赛等)中摸清算法特性、熟悉相关工具与模块的使用。

总结

如今,好多机器学习、数据挖掘的知识都逐渐成为常识,要想在竞争中脱颖而出,就必须做到

  • 保持学习热情,关心热点;
  • 深入学习,会用,也要理解;
  • 在实战中历练总结;
  • 积极参加学术界、业界的讲座分享,向牛人学习,与他人讨论。

最后,希望自己的求职季经验总结能给大家带来有益的启发。

继 机器学习、大数据问题,接下来的博文还会陆续分享 智力题编程语言题 和 数据结构与算法题,敬请期待。


原文地址: http://frank19900731.github.io/blog/2014/11/06/mian-shi-jing-yan-zhi-ji-qi-xue-xi-da-shu-ju-wen-ti/
作者 Frank Song  发布于 http://frank19900731.github.io  转载请注明

大数据五大职位

1、数据科学家。 2、数据分析师,因为是偏业务,系统和模型。 3、数据工程师处理工程上的事情,如何抓数据,清洗数据,如何存储,如何计算。 4、数据架构师,这是在硅谷最热门的职位,这种人才是非常缺...
  • qiezikuaichuan
  • qiezikuaichuan
  • 2016年09月23日 16:53
  • 315

大数据技术名词解释

1、Hadoop:由Apache基金会所开发的分布式系统基础架构,是一个能够对大量数据进行分布式数据的软件框架。Hadoop包含多个技术核心:HDFS、MapReduce、Hive、Hbase。2、H...
  • gaofeng2000
  • gaofeng2000
  • 2016年04月02日 23:48
  • 1936

从招聘网站分析大数据相关职位现状

近几年大数据行业席卷整个社会的各行各业,火热到跟当年的Android开发一样,未来5年将新一步火爆,很多从事IT行业的人员开始投入到大数据行业中,那么,目前大数据职位需求现状如何,对从业者的要求如何,...
  • levy_cui
  • levy_cui
  • 2016年07月27日 11:17
  • 1919

大数据岗位的面试总结

转载自:大数据岗位的面试总结 本人住在有人间天堂之称的城市,6年多开发经验,最近2年主要在做大数据相关的开发,最近考虑换工作,基本也只考虑大数据相关岗位。目前新工作已经找好,但想分享一下最近面试...
  • SCGH_Fx
  • SCGH_Fx
  • 2017年05月03日 15:36
  • 612

美图--Java大数据工程师笔试总结。

心态崩了。。。 三部分题目:选择10*4 简答2*15 编程 1*30 做选择的时候还觉得这卷子真简单,真是简单…… 选择: 第一题考的概率,扔硬币至少一面为正的概率 第二题考的Has...
  • Y_215
  • Y_215
  • 2017年10月12日 20:51
  • 161

python爬虫实例——爬取智联招聘信息

受友人所托,写了一个爬取智联招聘信息的爬虫,与大家分享。 本文将介绍如何实现该爬虫。...
  • u010187278
  • u010187278
  • 2017年09月05日 09:45
  • 3330

大数据开发工程师岗位分析

最近一年大数据火爆异常,各种培训班开课广告满天飞,很多做开发的朋友也想转到大数据这一行,在投递简历的时候进场被几个岗位搞迷糊,他们是大数据分析师,大数据研发工程师,大数据建模工程师,大数据挖掘工程师。...
  • mulangren1988
  • mulangren1988
  • 2017年01月20日 23:37
  • 7987

大数据职位画像–看看你是不是白混了贼多年【指导意义】

且目前国内整体层次上还处于比较初级的水平,在未来的两三年中,国人将不再满足于简单的数据分析,到时将会需求大量具有数据深度挖掘能力的人才。 ==========================...
  • qiezikuaichuan
  • qiezikuaichuan
  • 2016年09月27日 18:18
  • 702

Unity开发中的各种职位

客户端 : unity开发人员在开发过程中其实是充当客户端业务的作用UI: 负责制作软件界面中用到的所有的UI模型(美工) :负责制作场景中用到的所有3D模型产品: 这个职位在虚拟现实/AR/AP...
  • qq_15267341
  • qq_15267341
  • 2017年08月10日 14:26
  • 443

2017大数据领域十大必读书籍

2017年已经到来,你看了几本书呢?小编为大家精心挑选了大数据领域里十本有价值的书,先干掉这几本书,再和老司机谈大数据!不过,像《大数据时代》、《数据之巅》等这些经典到“烂大街”的书我就不一一推荐了,...
  • chenjunji123456
  • chenjunji123456
  • 2017年01月19日 10:30
  • 1219
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据相关岗位需了解信息
举报原因:
原因补充:

(最多只允许输入30个字)