一文掌握大数据架构师需要具备的能力和格局(1)

m0_74932057

已于 2024-04-28 13:00:29 修改

阅读量989

点赞数 29

分类专栏：程序员文章标签：大数据

于 2024-04-28 13:00:27 首次发布

本文链接：https://blog.csdn.net/m0_74932057/article/details/138274616

版权

程序员专栏收录该内容

185 篇文章 0 订阅

订阅专栏

接口
内部埋点
后端埋点方案
无埋点方案
url规约系统
用户级别
版本跟踪
页面级别
块级别
事件级别
搜索
露出曝光展示滑动用户访问下载装机等统计方式
运营使用的外部工具
各种广告平台
广点通
达摩盘
知乎DSP
今日头条系
百度系
微博营销工具
…
各种流量平台
各种统计分析平台
销售使用的外部工具
商家查询平台
启信宝
企查查
天眼查
赤狐
CRM工具
外部数据(非公司IT支撑)
爬虫平台开发利用推进
API对接
WIFI 探针类
分类
WIFI
BLE
Zigbee
蓝牙
算法
信号强弱
围栏
人脸视频类
faceid 设计
图片帧
第三方数据
第三方埋点
GA
百度
友盟
其他
外部数据
数据报告
199IT(100+)
艾瑞(100+)
IT橘子
国家互联网中心
恒大研究院
亿欧智库
易观数据
中国通信研究院
腾讯数据实验室
阿里研究中心
商业合作
数据交换
专项购买
流量互补
竞品数据
分析竞品列表
关联品牌
关联人物
关联商家
热点主题
讨论度
新闻动态频率
正负面情绪
风险信息商业环境
爬虫获取商家商品评论等业务数据
从一些公开平台获取统计数据
新媒体
微信公众号
微博
知乎
行业数据
大盘数据
行业动态数据
统计数据
国家统计局
国外统计局
专业部门统计数据
数据资讯
大行业
本行业
其他
三:数据价值
1.数据清洗
日志数据清洗(UDF spark straming )
业务数据清洗
维度数据抽取
数据缺失与修复
NLP语义化
图片识别等
2.数据仓库
分层
Operational Data Store(ODS) 原始操作数据
General Data Mart(GDM)清洗后通用数据
Data WareHouse (DW)数据集市
用户
行为
商家
商品
…
Dimension Data(DIM)维度数据
规范
权限规范
ETL规范
调度规范
ETL
元数据(Atlas查看和标记)
业务元数据
ETL元数据
数据元数据
3.统计报表
分类
维度
指标
数据可视化
5.数据报告
抓重点业务或关键路径
体系化叙述
重点数据解释
编写参考玩转keynote
4.商业智能
关键指标与转化
博弈分析法(找到博弈方，找到博弈方的冲突与矛盾)
利益方
行动
信息获取
损失
均衡点
优化
策略
收益
企业价值评估法(找到利益保持或者增长的关键点或者业务流程量化KPI) 上图参考案例
行业参考(标准行业的指标体系)
保证少而精结果导向可衡量一致性
影响业务决策
商家风控
用户风控
影响运营决策
AARRR模型
RFM模型
运营增强工具
用户分层理论
影响老板决策
全局跟踪报表
关键节点转化数据跟踪
市场大盘的搜集与预估
竞争对手信息挖掘
效率周期的提醒和关注
业务预测与告警
6.业务赋能
数据预警
数据预测
数据查询
对运营支持的数据工具
对业务销售支持的数据工具
销售人员的常用工具数据化支撑
业务节点的数据跟进
7.数据产品
（私域数据）CDP&DMP
收集企业私域数据
建立私域数据之间相同顾客/用户/受众之间的映射匹配关系 .构建以顾客/用户受众(人)为核心的数据结构(即ID+人的标签，或称ID+人的属性的数据结构)
基于以上数据结构，建立个体画像或人群画像
DMP/CDP只针对营销和客户运营的场景，它们可以与企业的渠道管理、备货、物流以及供应链甚至生产环节相联通，并根据需要为这些环节提供数据，但它们并不负责收集和处理这些环节的数据。
2B产品
行业标准与数据共享
垂直行业指数项目
针对商家端产品
商家快速获取数据
商家获取精准数据
商家数据增值服务
2C产品
结合产品规划
用户信息(关系)打通
结合产品2C的优惠券通知推送等
推荐
搜索
风控
舆情
用户画像
反作弊
8.场景探索
IOT场景
AI场景探索
数据交换场景
规则漏洞-业务场景漏洞-效率优化
9.企业数据化成熟度进化路径
四:数据安全
1.企业数据分级
普通
基础业务数据
用户产生的非免敏感数据
敏感
用户信息
商家信息
机密
合同
推广
活动
订单
绝密
财务
战略
融资
2.数据隐私保护
公众数据
Personal Identifiable Information(PII级别)
用户唯一标识(因公司而异)
核心业务数据订单优惠券等(掩码)
3.平台权限控制
数据导出权限控制
账号跟踪与密钥更换
统一LDAP账号建设
数据使用申请
大数据产品系 - 账号统一登录平台
4.数据流程规范
需求对接规范
数据订正规范
提取数据规范
业务数据变更修正
五:质量保障
1.平台与资源保障
平台监控
服务监控
调度监控
计算监控
2.数据质量
日志数据质量保障
开发埋点跟踪与工单系统
需求流程梳理与制定
加入环节测试，统一APP PCWAP 小程序的开发SDK
业务数据质量保障
业务一致性
数据主动被动监测与检测系统开发
领域统一主键
业务数据表备注变字段新增删除表新增等的跟踪通知
数据仓库与计算逻辑质量保障
抽样检测
数据准确性跟踪
数据仓库调度监控与计算逻辑review
3.统一口径
专人负责业务领域模型
数据仓库主题域宽表建设
需求对接明确责任人和需求对接人
4.故障跟进
钉钉报警群的建设与跟进
值班制度
软实力
六:个人素质
1.体系化建设
快速了解一个体系
渠道
专业图书
技术官网
github
processon 里的推荐功能
超链接技术博客
知乎
体系报告网站(参考数据获取-外部数据-数据报告)
各种行业平台网站
谷歌百度
找朋友聊
加微信QQ群
记录整理
找个工具记录最散漫的疯狂的阅读与吸取
最好用表格来划分横向维度和纵向维度
消除杂音
刨除过程中一些过时的资料或者概念
尽量找原版的设计与理解
快速形成自己的理解
聚合
分类
排序
深入
系统计划
修正策略
发现方向不对了要懂得立即止损
投资视角看公司
商业模式
完整的产品、服务和信息流体系，不完全决定着盈利模式但是衡量盈利模式的基础
简单易懂一句话说明白的模式就是好模式
在产业上下游关系所处的位置
定价权在哪里
企业和客户关系的好坏
盈利模式
探求企业利润来源、生产过程以及产出，对企业经营要素进行价值识别和管理关注持续力
团队
关注公司的团队架构，工作任务如何进行分工、分组和协调合作。关注CXO
专一性
创新性
管理者优势
用户来源
关注在特定的公司下他们是如何获客的，获客的效果与方法是否可以持续健康的保持优势
现金流
公司对于内部价值的挖掘和在商业上的资金变现能力
成本结构
成本结构
决定因素
成本产业优化
变现能力
路径依赖
公司内部对主营业务的依赖性，对于新业务拓展的阻碍。在快速调整方向时能动性的高低
烧钱速度
竞争对手
赛道内竞争对手的强弱与个数，竞争对手的资方背景。竞争对手对红海的竞争性与蓝海的开拓性
(赛道)行业特性
垂直行业内的一些特殊关注点和可能发现的价值挖掘点，也是可能构建护城河的点
价值流失
价值守护的能力，包括资产数据用户，针对于流失的方法策略是否有意识和具体的动作
护城河
抵御竞争者的保护措施
财务效率
边际成本
回报率
品牌效应
天花板
公司所在的行业是否已经进入饱和状态，是否供过于求
关注行业或者需求拐点
关注小行业的大公司
关注新旧势力平衡关系
关注面对天花板公司采取的策略
2.业务破局
了解业务
老板高管经理
对钱感兴趣的人肯定对数据感兴趣(财务三张表)
资产负债表
利润表
现金流量表
投其所好
多渠道的了解老板画像
试探数据价值的关注度
换位思考
从他们的角度去考虑他们遇到的困难，不解和所做的决定
不要被他们的思维固化(在其位谋其政)影响你对于数据价值的思考
全面的体系重要的分级
全面的体系化建设(基于对行业业务数据的宽泛认知) 不赘述
永远要记住摸清主线
按照重要程度(看势)做事情的分级
观察对方的底线(长期)
技术产品运营
技术体系初步印象
前端(ios android pc tv) 涉及到埋点日志事情
后端(微服务链路数据库) 涉及到业务数据入库和日志收集
掌握全局(局部)数据库
先全面后局部的感觉下数据库设计(如果有ER图提供最好)
感觉下量级与增速
深入了解产品的规划
找到契合点不要越界
数据价值为主外层的展现为辅
产品方向的数据价值多数来自C端所以推荐广告用户画像等为主不同的行业考虑下特性应用(O2O IOT 新零售 AI的落地应用)
拿出诚意才会得到配合
站在开发者角度去尽量减轻他们的负担
日志与埋点的配合
业务数据入库配合
底层运维支持配合
技术层面的分享带给别人更多理解相关技术的机会
是否需要数据产品经理
涉及到产品规划和业务赋能的最好有数据产品对接
关于数据报表分析的最好让数据分析人员进入对接一线
销售业务财务
良好的沟通从兴趣开始
数据价值来源于解决B端面临问题
是否能提供有价值的数据让业务跑得更快
能否提供销售更直接的客户服务数据
财务的事情佛系对待
合适的机会跟他们一起开会，反复强调的内容里面就有重点和痛点
多花时间研究他们的工作流程
流程最能体现价值(优化提速转化效率)
接触工作流程中可以更深刻的理解业务
关键指标一定会有所提及(不懂找资料学习再沟通) 绕不过的钱
记录关键指标自己先琢磨在找懂的人沟通
遇到不分享的可以先想办法解决他的一些问题，无论大小，展现诚意。记住自己的目标
分析痛点
将痛点归类(部门角色数据源数据价值)
归类后痛点间的关联关系找主线
能解决的痛点才是痛点
缩小范围解决头部需求反手解决次类需求
痛点案例
基础数据指标与总体和各部门的KPI跟踪
流量广告投放优化问题
潜在用户挖掘与运营转化问题
用户深度运营模型问题
用户流量扩张和用户粘性问题
羊毛党风控问题【成本优化】
如何快速成交问题【效率转化】
多单率，交叉消费，多场景消费问题
竞品商家数据的融合
数据和用户流失和丢失问题
专注行动
象限法(重要紧急四象限)
优先处理重要且紧急紧急不重要的
阶段性的处理重要不紧急的(这种事情要记录在本本上)
行动前的影响与价值预估
可能对其他部门或人造成的工作加重减轻与正负面影响
此行动能得到的可能价值(对需求方相关人团队自己)
可拆解的任务才能行动
行动计划保证在一个可控范围内(人员时间资源 )
任务的串并行尝试
人员维度的安排
时间维度的安排
行动中的修正与反馈
寻找一个反馈对象(最好是需求方)
修正来源于对结果的不可控(保证损失最小)
拿到结果一定要说话(不要当哑巴付出得到回报天经地义)
打算说给谁听
准备好PPT(参见玩转keynote)
时间地点
3.数据解读
考虑受众
想要说给谁听是重中之重
了解对方的工作特性用类比方式的去阐述数据
实事求是轻易不下结论
全局意识
局部业务专研分析思维
小心求证，在给出数据前多做检验
会看数据
维度-指标-特征-缺失-差值-聚合-分类-排序
比率-中数-众数-方差-维度相关性
多维度的去思考和验证
寻找数据点(点) - 寻找主数据(线) - 串联数据的顺序关系(面)
要有全局意识和局部业务专研分析思维，理解金字塔原理，自上而下表达，自下而上思考，从上提出疑问，从下寻找答案
4.工具利用
时间管理工具
Omni Focus
Tyme2
时间四象限
重要且紧急
重要不紧急
紧急不重要
不紧急不重要
快速记录工具
备忘录
Wiki
Macdown
扩展思维工具
MindNode
Processon
学习成长工具
优质微信公众号
人人都是产品经理
知乎
5.落地执行
落地能力
站在对方去思考
会讲故事让一件事情的参与者多方受益
角色设定一定要在落地的时候事情是给哪个角色制定的，没目标群体的事情落地了也没用
计划时间点里程碑要明确
执行能力
时间管理
对于每一步的执行时间要有清醒的认知，到了时间点完不成要想后面的进度和对应方案
执行计划的时间点不要做太多的冗余也不要完全不留短期的控制在10%左右的增量
同步进行的事情也要分清楚优先级
在一定的考虑内周末也是用来buffer的
要清楚团队的有效工作时间范围，上午？下午？晚上？人不是机器总是要在某个时间段休息的
沟通反馈
要明确细分点的负责人要巧妙的跟进进度
接受不完美
这个一定要接受，架构不完美可以完善，速度慢可以优化，产品功能完成度超过80%即可
接受了不完美不代表不朝着完美的方向努力，快速迭代项目分期是不错的解决方案
抓住重点80%
分清主次，没有任何的产品或者功能或者技术是满足所有人和场景的
要清醒的认知什么是对公司有价值的什么是对团队有价值的
6.清醒复盘
复盘前的思考
为了解决什么目的，如果没想清楚不需要复盘
复盘的人员范围
时间控制
何时复盘
不要形式主义，在出现问题后记得一定要复盘
当信心缺失
当项目受挫
当可能骄傲自满
避坑总结
7.玩转keynote
确定主题与讲述思路
解决痛点模式
开篇直接从场景开始带出痛点
然后讲述痛点的原因别人如何解决我们如何解决
具体的方案落地执行与风险点
突出主题模式
体验报告模式
融资招商模式
数据报告模式
流程讲解模式
技术分享模式
讲述靠说不靠堆叠
言简意赅
归纳总结
利用模板来快速制作和辅助思路
参考模板
Layouts for Keynote(App Store有售)
PC6合集 http://www.pc6.com/mach/macmuban/
辅助思路
当有些思路阻碍可以看看模板上被人是如何处理和展现的
运用模板的特殊元素来装扮自己的文案
基础色调选取与排版建议
色调选择
多用过度色原则上整体别超过5个
颜色可以用吸管从浅入深或由深入浅波动选择
黑白灰为常用过度配色
分清极暖色极冷色暖色冷色微暖微冷
色彩的对比平衡混合多练习
排版建议
建议用“细黑”的字体，比如冬青黑体，华文雅黑，微软雅黑light等
节奏感：尺寸大小，上下位移，旋转，间距，就是不能让文字之间稳当地排在一起
巧用各种图形可以更形象化的让人理解
大纲最好列在每页的面包屑上
巧用动画
8.行业关注
多读报告(参考数据获取-外部数据-数据报告)
专业领域
大数据行业发展与新技术更迭
算法paper
开发领域新技术
业务领域
行业业务特性
产品角度
运营角度
兴趣领域
IOT
新零售
七:技术能力
系统工程
前端
后端
数据库
系统功能方向
CRM
ERP
CMS
BOPS
商家后台
…
数据分析
算法应用
回归算法
神经网络
SVM（支持向量机）
聚类算法
K-Means
DBSCAN
…
机器学习
有监督学习
决策树
朴素贝叶斯分类器
最小二乘法
逻辑回归
支持向量机（SVM）
无监督学习
聚类算法
主成分分析（PCA）
SVD矩阵分解
独立成分分析(ICA)
增强学习
降维算法
推荐算法
基于物品内容的推荐
基于用户相似度的推荐
其他
八:产品与运营思维
产品方向
B端(在数据价值里面已经有说)
C端(在数据价值里面已经有说)
运营方向(垂直人群 +营销场景)
品牌运营
渠道
公众号
小程序
微信官网
地推
纸媒
地铁
KOL合作
品牌融合合作
品牌跨界品牌和场景跨界
品牌基本面
讲故事不讲故事
营造感觉营造氛围
视觉VI
品牌代言人
媒体策略
大水漫灌
精细化投放(例子)
传播策略
场景化
裂变分享(例子)
场景化植入
团组操盘
预算跟进
市场运营
市场大盘
竞争对手
商家
行业
品牌
内部效率
策略方案
预算申请
流量运营
推广投放
会员体系
用户增长
用户运营
价值保证基本的活跃和贡献
价值的定义和活跃的定义
价值参考标准
做指标的评分加权都找到重要的价值维度
等级划分(案例)
等级特权(案例)
数据指标
基本指标(示例)
注册登陆搜索下单购物车等
活跃
日/周/月活
流失
复购
付费
深度(漏斗)
留存