大数据心得与方法论

个人定位：

赛道 业务 职业

1.市场需求 ：离线数仓

2.灵魂：简历+话术 0-1模仿 再有自己的突破 特色 简历写得有情绪 不是读课文

3.业务理解（电商 商业模式 B2B B2C C2C ）（社交电商 短视频 细分赛道 ）业务流程（业务数据库的表)数仓的ODS层

+需求拆解+模型设计

4.思维：业务思维 （学习业务知识 积累业务经验 体现业务价值）

产品思维 （技术能给用户带来什么价值 有什么商业价值）

技术思维 （1-3研究技术深度 3-5研究技术的广度 基于技术的解决方案）

复盘思维 （）

如何培养思考方法

多动手 

拆分目标 拆分任务 做鱼骨图 脑图

多思考

结构化思维

复杂问题加以拆解

思考上抓清楚重点 不论做什么事情从重点开始 找出最关键的做分析 先从最核心的点开始拆解 主线和探索相结合

逆向思维

会问为什么不

多学习

业务思维 包括：产品思维 增长思维 运营思维

行业解读：公众号 知乎 B站

心理学 社会学

理解业务深度

文档：公司部门战略 产品需求 AB实验 运营活动 用户访谈 会议记录复盘

会议记录 公司的信息

会议 ：战略会  复盘会 周会 需求评审 实验 如果参加不了重要会议 读会议记录文档  跟上公司战略 主动打通信息壁垒

沟通：定期沟通与项目沟通 随时随地 碎片化沟通

沉淀与总结

关注上层

关注行业与赛道

关注公司决策

关注竞品

日常工作

关注工作产出的收益 做个todolist 培养量化能力 将时间 还有业务变成可量化的数据指标 多看他人优秀的分析报告或者工作汇报ppt 取长补短

规划学习路线 

1.基础模块

javase 5天

linux 2天

Hadoop生态 3天

1.yarn 1天

2.zookeeper 0.5天

2.数据采集模块

flume 1天

sqoop 1天

datax (后)

3.数据流转存储

hdfs 1天

Kafka 1天

hbase\kudu\es\redis(拓展)

4.数据处理

hive 2天

spark （拓展）

flink(拓展)

5.数据应用

报表查询 BI 

superset 1天 powerbi

机器查询 olap

clickhouse 1-2天  doris  kylin

6.数据运维

调度方面 小海豚调度 1天 oozie|azkaban

面试项目亮点

1.强大的业务场景

2.全方位的技术体系

3.重点实战内容

4.统筹业务敏感 技术视觉

大厂  校招

学历

实习经历 

在线表现 （软件竞赛）

面试刷题

社招

三年内看学历 三年外看经验

普通学历+强化项目（通过项目强化经验水平和技术水平 纵向准备一些技术点和灵活的场景题 还能不能在优化能不能再提升效率）+面试题+专注（3年内一家公司）

项目规划

统筹

公共学习

专注学习

项目

现在问题 项目在哪里 如何学习演练

统筹规划xy

设置2个月的学习规划

1.认清自己 选准目标 认准方向 已入职为导向 后期再深造

2.每天抽多少时间学习 一周抽多少时间 如果被影响 回溯机制要建立

3.建立学习模块 时间规划内逐级攻克 问题保留记录 阶段性总结

公共模块学习

1.有主攻方向 其余都是辅助

2.辅助模块称为公共模块，比如java linux hadoop

3.计划一个月 为下游重点掌握知识点 其余知识点后面再补

上岸规划

专业模块学习

贪多嚼不烂

计划一个月 重点围绕工作模块进行学习 实战 深层次挖掘

离线数仓 hive 可视化BI 平台化调度工具 理论 数仓基础
sql