我是西索,最近这段时间,和几个大厂的TL 做分析「价值」方面的探讨,在大数据时代要怎么才能发挥更高的数据价值,刚好涉及到这部分的讨论,把讨论结果做个分享,供同行参考。
“学习、交流、成长”
这几年听到最多的一个声音,我们要开始“卷”价值了。那么“你的价值体现是什么?”、“当前还有多少价值可以做”、“接下来我们要创造什么价值”…
一、认识数据分析流程
对于刚入行的同学来说,需要了解大数据分析过程中涉及到的流程和环节,再结合大数据的要素进行能力拆解。
| |
二、认识大数据,不得不了解的4V特性
数据分析和大数据分析,原始数据量大小不同,导致处理方式的不同。
大数据分析,主要是利用各种类型的全量数据(不是抽样数据),设计统计方案,得到兼具细致和置信的统计结论。在做大规模数据处理的时候,天然存在很多技术壁垒,必须要用专业的软件才能解决,还需要兼顾运算时效、计算性能、运行成本、数据加工技巧等等。
● 认识大数据架构能力
以下是一个比较典型的大数据架构图
了解大数据平台的底层构成,增加对工具的认知,了解不同产品之间的共性和差异性,在真实建设场景中才能做好针对性的方案设计。
大数据平台、关系型数据库vs非结构式数据库、实时数据vs离线数据、数据调度工具 |
● 认识大数据指标体系
因为大数据的体量很大,为了快速拿到想要的数据结果,就不得不提「数据指标体系」。指标体系的搭建分为两大步骤:设计指标体系和落地指标体系,
● 认识大数据指标体系
关于大数据工具的介绍,可以参考这篇文章:大数据常用工具集合
三、做好大数据需要储备的职业技能
我们把职业技能划分为显性和隐性两个方面,从大数据各种岗位的job model中可以抽象成为集中能力,见下图
● 必知的管理方法论
在职场中我们会接触到很多「管理」内容,向上管理、向下管理、项目管理、团队管理、需求管理等,提升自己的管理软实力,加强管理方法的意识塑造,是拉开职场核心竞争力的关键所在。
● 常用的统计学知识
分析过程可能是做一些探索性数据分析、统计分析、机器学习建模,甚至是做AB测试实验,最终交付分析报告。数据分析离不开统计学、运筹学,以下罗列了日常过程中经常用到的统计方法,
● 重要的商分类知识
“无场景不分析”、“脱离业务场景的分析都是耍流氓”等资深数据分析师的建议无不说明业务场景的重要性,数据分析在不同场景下,也有不同的“分析”招式来满足不同的业务需求,熟悉下面的商业分析模型有助于建立业务信赖。
● 掌握的算法类模型
有监督模型,对于企业销售的预测、还是对用户行为的预测,都能帮助提升业务效率。比如常见的预测用户流失分析,及时得到高概率流失的人群名单,运营通过提前营销干预,提高用户留存率。
无监督模型,可以应对未知模式的分析。譬如,不知道应该把现有人群分成多少个组来进行营销最合适,就可以对人群基于核心特征做无监督的聚类分析,得出有效分组的界限。
● 机器学习和深度学习算法
几个基础概念
数据集合:训练集、测试集、验证集;
数据检查:描述性统计(最大、最小、中位数、众数、四分位)、缺省值填充、卡方分布;
数据校验:共轭线性、相关系数(Pearson Correlation Coefficient);
特征工程:什么是特征工程、特征工程构建、特征工程权重查看、特征选择(filter/Wrapper/Embedded)
归一化:虚拟变量,labelEncoder/OneHotEncoder/get_dummies;此外可以参考核函数构建方法,通过log、ln、e的方式构建,缩小极大值之间的数据离散度;
数据标准化:z-score、max-min scaling;
算法校验:卡方校验、5-fold、
机器学习
知识重点:距离、信息熵、梯度、L1/L2、鲁棒性(稳定性)
L1-曼哈顿(绝对值相加,不唯一解)、L2-欧氏距离(欧几里得距离之和,平方和,唯一解)
无监督学习:
聚类(cluster):k-means、cart(核心是距离-欧式/马氏/曼哈顿/切比雪夫,高斯密度/正态分布);
半监督学习:
监督学习:
回归(logistic):线性回归、LR(ridge/lasso,L1/L2)、预测(Arima、prephet);
分类(classification):KNN、Decsion Tree、XGBoost、Random Forest、GBDT、SVM、Bayes
深度学习
知识重点:损失函数、核函数
用途:文字识别、图片识别、语音识别、视频处理
文本挖掘
NLP:tf-idf、LDA、CBOW、word bag
目标检测:
神经网络:BP(CNN)、RNN、LSTM
● 数据可视化的能力
图表是数据可视化的常用表现形式,是对数据的二次加工,可以帮助我们理解数据、洞悉数据背后的真相,让我们更好地适应这个数据驱动的世界。
四、擅长的·爱好的·世界需要的
在布赖恩·费瑟斯通豪《远见:如何规划职业生涯3大阶段》一书中提到,你要不断问自己这三个问题:我擅长什么?我爱好什么?这个世界需要什么?三者交集的部分,找到自己的目标,当前应该做哪些方面的刻意练习,强化优势,用长板补短板。
工作规划,是结合公司整体方向而开展的规划过程;个人规划,是结合个人职业发展而开展的规划过程;彼此之间的交集在于,如何通过规划把两个方面进行融合!
而个人职业成长旅程中有三个定位:岗位定位,管理定位,行业定位。
● 28岁前,用岗位专业定位自己,你干啥最专业?
● 32岁之前,用管理角色定位自己,你做项目、带团队、搞运营的能力怎么样?
● 38岁之前,用行业品类定位自己,你在哪一个行业领域做到了顶尖?