一文掌握大数据架构师需要具备的能力和格局(1)

  • 接口

  • 内部埋点

  • 后端埋点方案

  • 无埋点方案

  • url规约系统

  • 用户级别

  • 版本跟踪

  • 页面级别

  • 块级别

  • 事件级别

  • 搜索

  • 露出 曝光 展示 滑动 用户 访问 下载 装机 等统计方式

  • 运营使用的外部工具

  • 各种广告平台

  • 广点通

  • 达摩盘

  • 知乎DSP

  • 今日头条系

  • 百度系

  • 微博营销工具

  • 各种流量平台

  • 各种统计分析平台

  • 销售使用的外部工具

  • 商家查询平台

  • 启信宝

  • 企查查

  • 天眼查

  • 赤狐

  • CRM工具

  • 外部数据(非公司IT支撑)

  • 爬虫平台开发利用推进

  • API对接

  • WIFI 探针类

  • 分类

  • WIFI

  • BLE

  • Zigbee

  • 蓝牙

  • 算法

  • 信号强弱

  • 围栏

  • 人脸视频类

  • faceid 设计

  • 图片帧

  • 第三方数据

  • 第三方埋点

  • GA

  • 百度

  • 友盟

  • 其他

  • 外部数据

  • 数据报告

  • 199IT(100+)

  • 艾瑞(100+)

  • IT橘子

  • 国家互联网中心

  • 恒大研究院

  • 亿欧智库

  • 易观数据

  • 中国通信研究院

  • 腾讯数据实验室

  • 阿里研究中心

  • 商业合作

  • 数据交换

  • 专项购买

  • 流量互补

  • 竞品数据

  • 分析竞品列表

  • 关联品牌

  • 关联人物

  • 关联商家

  • 热点主题

  • 讨论度

  • 新闻动态频率

  • 正负面情绪

  • 风险信息  商业环境

  • 爬虫获取商家 商品 评论等业务数据

  • 从一些公开平台获取统计数据

  • 新媒体

  • 微信公众号

  • 微博

  • 知乎

  • 行业数据

  • 大盘数据

  • 行业动态数据

  • 统计数据

  • 国家统计局

  • 国外统计局

  • 专业部门统计数据

  • 数据资讯

  • 大行业

  • 本行业

  • 其他

  • 三:数据价值

  • 1.数据清洗

  • 日志数据清洗(UDF spark straming )

  • 业务数据清洗

  • 维度数据抽取

  • 数据缺失与修复

  • NLP语义化

  • 图片识别等

  • 2.数据仓库

  • 分层

  • Operational Data Store(ODS) 原始操作数据

  • General Data Mart(GDM)清洗后通用数据

  • Data WareHouse (DW)数据集市

  • 用户

  • 行为

  • 商家

  • 商品

  • Dimension Data(DIM)维度数据

  • 规范

  • 权限规范

  • ETL规范

  • 调度规范

  • ETL

  • 元数据(Atlas查看和标记)

  • 业务元数据

  • ETL元数据

  • 数据元数据

  • 3.统计报表

  • 分类

  • 维度

  • 指标

  • 数据可视化

  • 5.数据报告

  • 抓重点业务或关键路径

  • 体系化叙述

  • 重点数据解释

  • 编写参考 玩转keynote

  • 4.商业智能

  • 关键指标与转化

  • 博弈分析法(找到博弈方,找到博弈方的冲突与矛盾)

  • 利益方

  • 行动

  • 信息获取

  • 损失

  • 均衡点

  • 优化

  • 策略

  • 收益

  • 企业价值评估法(找到利益保持或者增长的关键点或者业务流程量化KPI) 上图参考案例

  • 行业参考(标准行业的指标体系)

  • 保证少而精 结果导向 可衡量 一致性

  • 影响业务决策

  • 商家风控

  • 用户风控

  • 影响运营决策

  • AARRR模型

  • RFM模型

  • 运营增强工具

  • 用户分层理论

  • 影响老板决策

  • 全局跟踪报表

  • 关键节点转化数据跟踪

  • 市场大盘的搜集与预估

  • 竞争对手信息挖掘

  • 效率周期的提醒和关注

  • 业务预测与告警

  • 6.业务赋能

  • 数据预警

  • 数据预测

  • 数据查询

  • 对运营支持的数据工具

  • 对业务销售支持的数据工具

  • 销售人员的常用工具数据化支撑

  • 业务节点的数据跟进

  • 7.数据产品

  • (私域数据)CDP&DMP

  • 收集企业私域数据

  • 建立私域数据之间相同顾客/用户/受众之间的映射匹配关系 .构建以顾客/用户受众(人)为核心的数据结构(即ID+人的标签,或称ID+人的属 性的数据结构)

  • 基于以上数据结构,建立个体画像或人群画像

  • DMP/CDP只针对营销和客户运营的场景,它们可以与企业的渠道管理、备货、物流以及供应链甚至生产环节相联通,并根据需要为这些环节提供数据,但它们并不负责收集和处理这些环节的数据。

  • 2B产品

  • 行业标准与数据共享

  • 垂直行业指数项目

  • 针对商家端产品

  • 商家快速获取数据

  • 商家获取精准数据

  • 商家数据增值服务

  • 2C产品

  • 结合产品规划

  • 用户信息(关系)打通

  • 结合产品2C的优惠券 通知 推送等

  • 推荐

  • 搜索

  • 风控

  • 舆情

  • 用户画像

  • 反作弊

  • 8.场景探索

  • IOT场景

  • AI场景探索

  • 数据交换场景

  • 规则漏洞-业务场景漏洞-效率优化

  • 9.企业数据化成熟度进化路径

  • 四:数据安全

  • 1.企业数据分级

  • 普通

  • 基础业务数据

  • 用户产生的非免敏感数据

  • 敏感

  • 用户信息

  • 商家信息

  • 机密

  • 合同

  • 推广

  • 活动

  • 订单

  • 绝密

  • 财务

  • 战略

  • 融资

  • 2.数据隐私保护

  • 公众数据

  • Personal Identifiable Information(PII级别)

  • 用户唯一标识(因公司而异)

  • 核心业务数据订单 优惠券 等(掩码)

  • 3.平台权限控制

  • 数据导出权限控制

  • 账号跟踪与密钥更换

  • 统一LDAP账号建设

  • 数据使用申请

  • 大数据产品系 - 账号统一登录平台

  • 4.数据流程规范

  • 需求对接规范

  • 数据订正规范

  • 提取数据规范

  • 业务数据变更修正

  • 五:质量保障

  • 1.平台与资源保障

  • 平台监控

  • 服务监控

  • 调度监控

  • 计算监控

  • 2.数据质量

  • 日志数据质量保障

  • 开发埋点跟踪与工单系统

  • 需求流程梳理与制定

  • 加入环节测试,统一APP PCWAP 小程序的开发SDK

  • 业务数据质量保障

  • 业务一致性

  • 数据主动被动监测与检测系统开发

  • 领域统一主键

  • 业务数据表备注变 字段 新增 删除 表新增等的跟踪通知

  • 数据仓库与计算逻辑质量保障

  • 抽样检测

  • 数据准确性跟踪

  • 数据仓库调度监控与计算逻辑review

  • 3.统一口径

  • 专人负责业务领域模型

  • 数据仓库主题域宽表建设

  • 需求对接明确责任人和需求对接人

  • 4.故障跟进

  • 钉钉报警群的建设与跟进

  • 值班制度

  • 软实力

  • 六:个人素质

  • 1.体系化建设

  • 快速了解一个体系

  • 渠道

  • 专业图书

  • 技术官网

  • github

  • processon 里的推荐功能

  • 超链接  技术博客

  • 知乎

  • 体系报告网站(参考 数据获取-外部数据-数据报告)

  • 各种行业平台网站

  • 谷歌百度

  • 找朋友聊

  • 加微信QQ群

  • 记录整理

  • 找个工具记录最散漫的疯狂的阅读与吸取

  • 最好用表格来划分横向维度和纵向维度

  • 消除杂音

  • 刨除过程中一些过时的资料或者概念

  • 尽量找原版的设计与理解

  • 快速形成自己的理解

  • 聚合

  • 分类

  • 排序

  • 深入

  • 系统计划

  • 修正策略

  • 发现方向不对了要懂得立即止损

  • 投资视角看公司

  • 商业模式

  • 完整的产品、服务和信息流体系,不完全决定着盈利模式但是衡量盈利模式的基础

  • 简单易懂一句话说明白的模式就是好模式

  • 在产业上下游关系所处的位置

  • 定价权在哪里

  • 企业和客户关系的好坏

  • 盈利模式

  • 探求企业利润来源、生产过程以及产出,对企业经营要素进行价值识别和管理 关注持续力

  • 团队

  • 关注公司的团队架构,工作任务如何进行分工、分组和协调合作 。关注CXO

  • 专一性

  • 创新性

  • 管理者优势

  • 用户来源

  • 关注在特定的公司下他们是如何获客的,获客的效果与方法是否可以持续健康的保持优势

  • 现金流

  • 公司对于内部价值的挖掘和在商业上的资金变现能力

  • 成本结构

  • 成本结构

  • 决定因素

  • 成本产业优化

  • 变现能力

  • 路径依赖

  • 公司内部对主营业务的依赖性,对于新业务拓展的阻碍。在快速调整方向时能动性的高低

  • 烧钱速度

  • 竞争对手

  • 赛道内竞争对手的强弱与个数,竞争对手的资方背景。竞争对手对红海的竞争性与蓝海的开拓性

  • (赛道)行业特性

  • 垂直行业内的一些特殊关注点和可能发现的价值挖掘点,也是可能构建护城河的点

  • 价值流失

  • 价值守护的能力,包括资产数据 用户,针对于流失的方法策略是否有意识和具体的动作

  • 护城河

  • 抵御竞争者的保护措施

  • 财务效率

  • 边际成本

  • 回报率

  • 品牌效应

  • 天花板

  • 公司所在的行业是否已经进入饱和状态,是否供过于求

  • 关注行业或者需求拐点

  • 关注小行业的大公司

  • 关注新旧势力平衡关系

  • 关注面对天花板公司采取的策略

  • 2.业务破局

  • 了解业务

  • 老板 高管 经理

  • 对钱感兴趣的人肯定对数据感兴趣(财务三张表)

  • 资产负债表

  • 利润表

  • 现金流量表

  • 投其所好

  • 多渠道的了解老板画像

  • 试探数据价值的关注度

  • 换位思考

  • 从他们的角度去考虑他们遇到的困难,不解和所做的决定

  • 不要被他们的思维固化(在其位谋其政)影响你对于数据价值的思考

  • 全面的体系 重要的分级

  • 全面的体系化建设(基于对行业 业务 数据 的宽泛认知) 不赘述

  • 永远要记住摸清主线

  • 按照重要程度(看势)做事情的分级

  • 观察对方的底线(长期)

  • 技术 产品 运营

  • 技术体系初步印象

  • 前端(ios android pc tv) 涉及到埋点日志事情

  • 后端(微服务 链路 数据库) 涉及到业务数据入库和日志收集

  • 掌握全局(局部)数据库

  • 先全面后局部的感觉下数据库设计(如果有ER图提供最好)

  • 感觉下量级与增速

  • 深入了解产品的规划

  • 找到契合点 不要越界

  • 数据价值为主 外层的展现为辅

  • 产品方向的数据价值多数来自C端 所以 推荐 广告  用户画像等为主 不同的行业考虑下特性应用(O2O IOT 新零售 AI的落地应用)

  • 拿出诚意才会得到配合

  • 站在开发者角度去尽量减轻他们的负担

  • 日志与埋点的配合

  • 业务数据入库配合

  • 底层运维支持配合

  • 技术层面的分享带给别人更多理解相关技术的机会

  • 是否需要数据产品经理

  • 涉及到产品规划和业务赋能的最好有数据产品对接

  • 关于数据报表分析的最好让数据分析人员进入对接一线

  • 销售 业务 财务

  • 良好的沟通从兴趣开始

  • 数据价值来源于解决B端面临问题

  • 是否能提供有价值的数据让业务跑得更快

  • 能否提供销售更直接的客户服务数据

  • 财务的事情佛系对待

  • 合适的机会跟他们一起开会,反复强调的内容里面就有重点和痛点

  • 多花时间研究他们的工作流程

  • 流程最能体现价值(优化 提速 转化 效率)

  • 接触工作流程中可以更深刻的理解业务

  • 关键指标一定会有所提及(不懂找资料学习再沟通) 绕不过的钱

  • 记录关键指标 自己先琢磨在找懂的人沟通

  • 遇到不分享的可以先想办法解决他的一些问题,无论大小,展现诚意。记住自己的目标

  • 分析痛点

  • 将痛点归类(部门 角色  数据源 数据价值)

  • 归类后痛点间的关联关系找主线

  • 能解决的痛点才是痛点

  • 缩小范围解决头部需求反手解决次类需求

  • 痛点案例

  • 基础数据指标与总体和各部门的KPI跟踪

  • 流量广告投放优化问题

  • 潜在用户挖掘与运营转化问题

  • 用户深度运营模型问题

  • 用户流量扩张和用户粘性问题

  • 羊毛党风控问题【成本优化】

  • 如何快速成交问题【效率转化】

  • 多单率,交叉消费,多场景消费问题

  • 竞品商家数据的融合

  • 数据和用户流失和丢失问题

  • 专注行动

  • 象限法(重要紧急四象限)

  • 优先处理 重要且紧急 紧急不重要的

  • 阶段性的处理重要不紧急的(这种事情要记录在本本上)

  • 行动前的影响与价值预估

  • 可能对其他部门或人造成的工作加重减轻与正负面影响

  • 此行动能得到的可能价值(对需求方 相关人 团队 自己)

  • 可拆解的任务才能行动

  • 行动计划保证在一个可控范围内(人员 时间 资源 )

  • 任务的串并行尝试

  • 人员维度的安排

  • 时间维度的安排

  • 行动中的修正与反馈

  • 寻找一个反馈对象(最好是需求方)

  • 修正来源于对结果的不可控(保证损失最小)

  • 拿到结果一定要说话(不要当哑巴 付出得到回报天经地义)

  • 打算说给谁听

  • 准备好PPT(参见玩转keynote)

  • 时间地点

  • 3.数据解读

  • 考虑受众

  • 想要说给谁听是重中之重

  • 了解对方的工作特性用类比方式的去阐述数据

  • 实事求是 轻易不下结论

  • 全局意识

  • 局部业务专研分析思维

  • 小心求证,在给出数据前多做检验

  • 会看数据

  • 维度-指标-特征-缺失-差值-聚合-分类-排序

  • 比率-中数-众数-方差-维度相关性

  • 多维度的去思考和验证

  • 寻找数据点(点) - 寻找主数据(线) - 串联数据的顺序关系(面)

  • 要有全局意识和局部业务专研分析思维,理解金字塔原理,自上而下表达,自下而上思考,从上提出疑问,从下寻找答案

  • 4.工具利用

  • 时间管理工具

  • Omni Focus

  • Tyme2

  • 时间四象限

  • 重要且紧急

  • 重要不紧急

  • 紧急不重要

  • 不紧急不重要

  • 快速记录工具

  • 备忘录

  • Wiki

  • Macdown

  • 扩展思维工具

  • MindNode

  • Processon

  • 学习成长工具

  • 优质微信公众号

  • 人人都是产品经理

  • 知乎

  • 5.落地执行

  • 落地能力

  • 站在对方去思考

  • 会讲故事让一件事情的参与者多方受益

  • 角色设定 一定要在落地的时候事情是给哪个角色制定的,没目标群体的事情落地了也没用

  • 计划时间点里程碑要明确

  • 执行能力

  • 时间管理

  • 对于每一步的执行时间要有清醒的认知,到了时间点完不成要想后面的进度和对应方案

  • 执行计划的时间点不要做太多的冗余也不要完全不留 短期的控制在10%左右的增量

  • 同步进行的事情也要分清楚优先级

  • 在一定的考虑内 周末也是用来buffer的

  • 要清楚团队的有效工作时间范围,上午?下午?晚上?人不是机器总是要在某个时间段休息的

  • 沟通反馈

  • 要明确细分点的负责人 要巧妙的跟进进度

  • 接受不完美

  • 这个一定要接受,架构不完美可以完善,速度慢可以优化,产品功能完成度超过80%即可

  • 接受了不完美不代表不朝着完美的方向努力,快速迭代项目分期是不错的解决方案

  • 抓住重点80%

  • 分清主次,没有任何的产品或者功能或者技术是满足所有人和场景的

  • 要清醒的认知什么是对公司有价值的 什么是对团队有价值的

  • 6.清醒复盘

  • 复盘前的思考

  • 为了解决什么目的,如果没想清楚不需要复盘

  • 复盘的人员范围

  • 时间控制

  • 何时复盘

  • 不要形式主义,在出现问题后记得一定要复盘

  • 当信心缺失

  • 当项目受挫

  • 当可能骄傲自满

  • 避坑总结

  • 7.玩转keynote

  • 确定主题与讲述思路

  • 解决痛点模式

  • 开篇直接从场景开始带出痛点

  • 然后讲述痛点的原因 别人如何解决 我们如何解决

  • 具体的方案落地执行与风险点

  • 突出主题模式

  • 体验报告模式

  • 融资招商模式

  • 数据报告模式

  • 流程讲解模式

  • 技术分享模式

  • 讲述靠说不靠堆叠

  • 言简意赅

  • 归纳总结

  • 利用模板来快速制作和辅助思路

  • 参考模板

  • Layouts for Keynote(App Store有售)

  • PC6合集 http://www.pc6.com/mach/macmuban/

  • 辅助思路

  • 当有些思路阻碍可以看看模板上被人是如何处理和展现的

  • 运用模板的特殊元素来装扮自己的文案

  • 基础色调选取与排版建议

  • 色调选择

  • 多用过度色 原则上整体别超过5个

  • 颜色可以用吸管 从浅入深或由深入浅波动选择

  • 黑白灰为常用过度配色

  • 分清极暖色 极冷色 暖色 冷色 微暖 微冷

  • 色彩的对比 平衡 混合  多练习

  • 排版建议

  • 建议用“细黑”的字体,比如冬青黑体,华文雅黑,微软雅黑light等

  • 节奏感:尺寸大小,上下位移,旋转,间距,就是不能让文字之间稳当地排在一起

  • 巧用各种图形 可以更形象化的让人理解

  • 大纲最好列在每页的面包屑上

  • 巧用动画

  • 8.行业关注

  • 多读报告(参考 数据获取-外部数据-数据报告)

  • 专业领域

  • 大数据行业发展与新技术更迭

  • 算法paper

  • 开发领域新技术

  • 业务领域

  • 行业业务特性

  • 产品角度

  • 运营角度

  • 兴趣领域

  • IOT

  • 新零售

  • 七:技术能力

  • 系统工程

  • 前端

  • 后端

  • 数据库

  • 系统功能方向

  • CRM

  • ERP

  • CMS

  • BOPS

  • 商家后台

  • 数据分析

  • 算法应用

  • 回归算法

  • 神经网络

  • SVM(支持向量机)

  • 聚类算法

  • K-Means

  • DBSCAN

  • 机器学习

  • 有监督学习

  • 决策树

  • 朴素贝叶斯分类器

  • 最小二乘法

  • 逻辑回归

  • 支持向量机(SVM)

  • 无监督学习

  • 聚类算法

  • 主成分分析(PCA)

  • SVD矩阵分解

  • 独立成分分析(ICA)

  • 增强学习

  • 降维算法

  • 推荐算法

  • 基于物品内容的推荐

  • 基于用户相似度的推荐

  • 其他

  • 八:产品与运营思维

  • 产品方向

  • B端(在数据价值里面已经有说)

  • C端(在数据价值里面已经有说)

  • 运营方向(垂直人群 +营销场景)

  • 品牌运营

  • 渠道

  • 公众号

  • 小程序

  • 微信官网

  • 地推

  • 纸媒

  • 地铁

  • KOL合作

  • 品牌融合合作

  • 品牌跨界 品牌和场景跨界

  • 品牌基本面

  • 讲故事 不讲故事

  • 营造感觉 营造氛围

  • 视觉VI

  • 品牌代言人

  • 媒体策略

  • 大水漫灌

  • 精细化投放(例子)

  • 传播策略

  • 场景化

  • 裂变分享(例子)

  • 场景化植入

  • 团组操盘

  • 预算跟进

  • 市场运营

  • 市场大盘

  • 竞争对手

  • 商家

  • 行业

  • 品牌

  • 内部效率

  • 策略方案

  • 预算申请

  • 流量运营

  • 推广投放

  • 会员体系

  • 用户增长

  • 用户运营

  • 价值 保证基本的活跃和贡献

  • 价值的定义和活跃的定义

  • 价值参考标准

  • 做指标的评分加权都找到重要的价值维度

  • 等级划分(案例)

  • 等级特权(案例)

  • 数据指标

  • 基本指标(示例)

  • 注册 登陆 搜索 下单 购物车 等

  • 活跃

  • 日/周/月 活

  • 流失

  • 复购

  • 付费

  • 深度(漏斗)

  • 留存

img
img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

png)

  • 用户运营

  • 价值 保证基本的活跃和贡献

  • 价值的定义和活跃的定义

  • 价值参考标准

  • 做指标的评分加权都找到重要的价值维度

  • 等级划分(案例)

  • 等级特权(案例)

  • 数据指标

  • 基本指标(示例)

  • 注册 登陆 搜索 下单 购物车 等

  • 活跃

  • 日/周/月 活

  • 流失

  • 复购

  • 付费

  • 深度(漏斗)

  • 留存

[外链图片转存中…(img-H4682VJL-1714280401959)]
[外链图片转存中…(img-a1DjrbZs-1714280401959)]
[外链图片转存中…(img-Ff54iSd0-1714280401960)]

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

需要这份系统化资料的朋友,可以戳这里获取

  • 29
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值