数据挖掘相关岗位分析及规划

目录

相关岗位情况

个人能力要求

具体计划实施

---

相关岗位情况

资料来源如下，以及一些招聘网站。

岗位详细介绍https://www.zhihu.com/question/50538518/answer/2026950483

岗位整理为以下几种：

名称	公司	招聘需求	职能	其他
数据开发	网易、华为、京东、美团、小米、百度、携程、阿里、快手、滴滴	1. c++、python、linux、python、ros、web 2. 机器学习、深度学习	组织起各服务模块，包括数据管道、分布式部署、元信息统计与分析、前后端服务等
数据工程师（数据仓库）	携程、虾皮、字节跳动、网易、携程、华为	1.研究生及以上学历，熟悉Hadoop、Spark、gbase等语言，熟悉各类机器学习或深度学习算法在相关领域应用； 2、掌握数据分析工具，如Python、Spss、sas、R语言、SQL等，对通信行业有一定的理解；	海量数据的接入、存储和处理（数据仓库架构设计、建模和ETL开发）；为相关业务提供数据支持
数据挖掘	腾讯、京东、百度、虾皮、携程、美团、字节跳动、快手、阿里、滴滴		从数据中提取隐藏信息后，建模，获取隐藏性结果；提出合理解释和建议，从而获取商业价值
数据分析（BI类）	与互联网交叉的行业	工作职责：  1、对电池数据进行分析，研究获取电池的相应指标数据，如工况、一致性、容量衰减程度、健康度等  2、结合电池数据，对电池的异常情况进行分析，研究电池短路、热失控等异常情况  3、根据业务需求，对各种指标进行建模，以支持电池数据分析平台构建	因具体业务而不同 任职要求：  1、对电池物理化学特性有一定的了解  2、有数据分析的相关经验  3、熟悉 Excel、Pandas、Matlab 等至少一种数据分析工具  4、对数据库以及大数据分析有一定的了解  5、本科及以上学历，电化学、计算机、数学统计、汽车等相关专业
数据运营	美团、字节跳动、快手		可落地的分析方法解决业务问题
ETL工程师		2、有大数据ETL开发经验，有一定的数仓模型设计经验，sql开发工作、数据仓库实施或应用集市实施工作； 3、或者对实时数仓有开发经验的，熟悉使用flink、Kafka、hbase，redis等，有java开发经验和sql开发经验; 1、专科或以上学历，具有ETL三年以上的工作经验。 2、熟练使用ETL工具DataStage、Informatic、Kettle中的至少一种。 3、熟悉LINUX操作系统的使用，熟悉shell编程。 4、熟悉常用数据库（oracle、MYSQL等） 5、具有良好的SQL基础，熟悉存储过程。	1、负责ETL程序开发； 2、负责参与制定ETL开发规范并执行； 3、负责按照业务需求，参与数据清洗规则，并使用ETL工具实现； 4、负责参与ETL过程中的SQL优化； 5、负责处理ETL任务中的各种异常和技术问题的解决。
BI工程师		1. 有统计学基础知识，了解数据仓库基础理论知识，熟悉oracle、sql server 等主流数据库，熟悉SQL语言；   2. 对数据仓库、大数据、数据可视化技术有浓厚兴趣和钻研精神；   3. 至少熟悉SpotFire、SAP BO、IBM Cognos、Tableau、FineReport等其中任一BI工具；   4. 具备BI项目开发、运维等工作经验；   5. 了解ETL工作流程，熟悉常用的ETL工具Informatica、Kettle优先；   6. 良好的数据敏感度，能从海量数据提炼核心结果；有丰富的数据分析、挖掘的经验；   7. 有良好的团队合作精神，沟通表达能力强，能很好的理解客户需求。	1. 负责根据概要设计，进行详细设计的文档编写；  2. 协助项目经理进行相关业务收集、调研、分析工作； 3. 协助梳理数据展现需求，完成数据展现设计； 4. 负责BI报表平台工具的安装部署及管理工作； 5. 负责BI报表的设计、开发与测试；  6. 协助ETL开发测试。
数据科学家	滴滴	工作职责： 1.协助完成BI业务运营数据和预算分析数据的提取、数据处理、报表开发和数据分析 2.协助完成数据产品的概要设计以及数据仓库的建模 3.参与BI分析产品的服务应用支持 4.协助参与统一管理数据集市中数据模型开发工作 岗位要求： 1. 2022届计算机、数据及大数据、软件工程、信息工程、数学、统计学等相关理工科专业 2. 熟悉数据库相关知识，熟悉SQL或MySQL数据库，了解SQL的性能优化等 3. 了解Hadoop/Hive/Spark等大数据技术架构优先考虑 4. 数理逻辑能力强，对数字敏感性强，热爱数字化商业智能领域工作 5. 良好的英语水平（CET-4或相当CET-4等级英语水平，书面读写形式为主) 6. 具有较强学习能力、具备良好的责任心，团队沟通与协作能力

个人能力要求

下面是博主对自身能力的评价：

（1）学历和专业：达标

（2）实习或项目经历：老师组内项目起到的作用不大，重点放在发论文和打比赛上（kaggle和天池赛）

（3）编程基础知识：投简历前重点刷题，平时也可以做题积累

（4）机器学习、深度学习：详见下一部分，这里不做展开

（5）可视化工具：PowerBI、Tableau等，上半年不考虑点技能点

（6）统计学和数据库：统计学合并在机器学习里面，数据库有实操经验，可以投简历前回顾梳理一波

（7）hadoop、Hive等大数据工具：上半年暂时不点技能

具体计划实施（todo：详细到每个时间节点）

学习路线http://后台开发与数据挖掘哪个更适合研究生发展？ - 九乡河龙牙的回答 - 知乎 https://www.zhihu.com/question/66021764/answer/252960723

优先级高的为：

1. 论文和比赛：kaggle比赛、大厂六七月份举行网赛（todo：收集资料）
2. 机器学习和深度学习：书籍有吴恩达机器学习、吴恩达深度学习、花书、西瓜书、tensorflow、scikit、《数据挖掘：概念与技术》；课程有Coursera by Andrew Ng、CS231 by 李飞飞、台湾李宏毅
3. 统计学和数学：结合机器学习部分，在看西瓜书的同时看看南瓜书

优先级低的为：

1. 数据库
2. hadoop、hive 

目前大方向：先大致浏览下载高优先级目标的资源和简介，为后续制定计划做参考。