大数据人才企业培养的
核心技能
大数据团队构成 基础平台、应用平台、数据应用(用户画像、BI、用户行为分析)
大数据开发工程师 精通各个组件的原理。理解业务的需求,java,scala,hive
数据仓库工程师 数据建模,java,hive,python
算法工程师 机器学习算法,用户画像,推荐,
100PB
数十万
几千个节点
面试准备
个人角色的定位
大数据开发工程师
个人职业规划 2-3年 业务、技术、综合能力 微调
扎实的基本功 面试的时候要复习 数据结构,Linux,项目管理,开发流程
开发语言 最擅长 两个,深入到原理 java, python
公司、项目的回顾以及梳理 核心项目梳理清楚 跟求职岗位相关的重点回顾
业务细节要重视
项目梳理步骤:项目背景、项目设计以及架构、技术选型以及对比、实现的细节、项目的效果
简历的准备 简历的内容最好不要超过两页,掌握的内容不求全而求精
写真正擅长的,业务与技术、项目要突出重点 与求职岗位相关的重点描述
面试技巧
技术面(基本功、技术深度),业务项目面(通过不同项目考核技术的广度,以及实践能力),综合能力面(执行能力,沟通能力,协调能力)、HR面(求职意愿、稳定性,抗压性)
面试要点 常见考核点
Hadoop工程师 组件精通程度,精读面试相关组件的代码,并能针对各种应用中遇到的问题快速定位,java是基础。linux基础,然后精通某些组件
&&集群规模变大,文件数增多,node内存受限成为瓶颈,如何解决。 node水平扩展
敏感数据的安全保护措施 服务器访问认证,底层目录权限管理、hive表的权限管理、三层结合达到目标
hadoop实战,java核心技术
大数据开发工程师
面试要点
熟练使用相关的组件,针对各个组件在应用中的不同环节进行调优,能够充分发挥大数据的价值,不同组件有变化,java scala是常见的开发语言 hbase mapreduce storm
hbase rowkey如何设计 结合实际的项目
如何实现map reduce spout bolt
storm并发问题 容灾策略
数据仓库工程师
面试要点
熟悉各个组件,数据建模,数据分层模型,ETL流程,数据质量,数据安全相关知识
hive构建,相关组件mapreduce spark hivesql
hive mr开发的时候 数据倾斜怎么办, 怎么去优化,怎么去分析
数据建模常用的方法和模型 数据仓库建设的优点,解决了哪些痛点,数仓规划 模型设计
日志系统的ETL环节 具体每一步都做了那些事情 数据质量是如何保证的
数据分析师
sql基础 hivesql python 数据分析项目的流程 采集、整理、数据建模、分析、报告的产生、行业相关的指标定义
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新