- 博客(46)
- 收藏
- 关注
RSS订阅原创 数据分析 - 用户中台（学习笔记）
用户中台简介企业发展壮大，企业的产品矩阵会越来越丰富，拥有更多的APP、小程序等。可能会面临2个问题：1.效率低。比如，各个APP团队分别开发所在业务的用户体系，重复造轮子重复开发，导致量费太多没必要的研发成本及导致研发效率低下。2.体验一般。比如，用户使用同一企业不同的APP，需要分别注册登陆，用户体验一般。建设用户中台，统一管理公司内不同产品的用户账号体系，从而提高企业效率及用户体验。同时，建设用户中台及其他业务中台，企业可以抢占市场先机实现战略价值。用户中台架构用户中台主要包括
2022-03-26 18:07:08
1620
原创 数据清洗 - 异常值（学习笔记）
异常值又称离群点。异常值的鉴别1.描述分析pandas: data.describe() 可以得到连续型数据的均值、最大值、最小值、中位数、四分位、总数、标准差等。通过描述分析查看出数据中有无极端值，并将极端值剔除。一般可以初步筛查时使用。2.散点图通过展示两组数据的位置关系，可以清晰直观地看出哪些值是离群值。异常值会改变数据间的关系，通常在研究数据关系，如进行回归分析前，都会先做散点图观察数据中是否存在异常值。3.箱型图利用箱型图的四分位距（IQR interquartil
2022-03-16 00:27:41
2448
原创 特征选择-方差过滤 （学习笔记）
方差过滤找到方差大有区分度的特征，过滤掉那些特征方差较小的特征。比如一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分没有什么作用。所以可以设置一个过滤的阈值，过滤掉那些方差小的特征，从而达到特征筛选的目的。注意不要将重要的特征过滤掉。适用于稀疏矩阵（数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律）from sklearn.feature_selection import VarianceTh
2022-03-15 21:17:55
1152
原创 数据分析 - 用户分析概述（学习笔记）
用户分层用户分层最大用处就是去平均化。通过平均数，观察到的趋势是对的；但推导出的执行计划，往往是错的。落到执行层面，需要进行用户细分，才能更容易找到真正问题，制定可行的计划。（总收入=付费用户数*付费用户人均付费）看平均数，就会要把人均付费提高，再多搞25这种结论。可实际上，平均值降低25元，是不是等于业务就得想办法拉高25元呢？两种很经典的业务形态，依赖土豪用户的大R型业务和依赖大量普通用户的大DAU型业务。从毛利中拨一个固定比例作为回馈，然后参照竞争对手的比例，选..
2022-03-05 19:58:44
1433
原创 机器学习 - 异常检测 Anomaly Detection（学习笔记）
根据输入数据，对不符合预期的模式的数据进行识别，寻找低概率数据（事件）。# train the model (unsupervised study)# 修改概率密度阈值contamination，可调整异常点检测的灵敏度from sklearn.covariance import EllipticEnvelopead_model = EllipticEnvelope(contamination=0.03)ad_model.fit(data)#predict the resulty_p
2022-02-26 19:35:37
699
原创 数据分析 - 搭建数据监控体系（学习笔记）
搭建数据监控体系包含两大关键工作：1.建立数据指标体系，对业务情况进行监督。2.将数据应用到管理流程，实现控制。如何建立数据指标体系？1.认准服务对象企业有部门分工，因此第一步要认准：我在为哪个部门服务。这非常关键！因为即使同一个问题，不同的部门的关注点会不同。同样是销售问题，如果是销售部看，关注的是每一支销售队伍完成率、进度、质量。如果是供应链看，那关注的就是总量、各产品数量、需求高峰期。如果是风控看，那关注的就是回款、坏账、套利。认清部门，有利于了解真正需求点。即使有些看起来
2022-02-26 19:08:21
2456
原创 数据分析 - 如何界定用户流失时间点（学习笔记）
老板提用户流失，可能是对于行业流量见顶的焦虑，深感阻止用户流失刻不容缓；运营提用户流失，可能是觉得花老大劲儿拉来的用户，总得做点什么，不能让他们白白流失，不过更多时候，是kpi没完成，想把锅甩给用户流失的大趋势；数据分析师提用户流失，可能是对用户做了分层／分类之后，发现其中有那么一两类用户即将流失，需要针对性做点什么动作来挽回。所以说虽然大家聊的都是“用户流失”四个大字，但往往不在一个频道。用户流失的两个关键：一是“动作”，二是“时间范围”。动作的判断标准可能是登陆、在线时长、购买行为；时间范围
2022-02-26 09:14:02
1625
原创 数据分析 - 分析思路（学习笔记）
标准模版应用举例1.财务小姐姐问：“最近销售情况怎么样？ ” 财务想看销售情况，关心的是销售的回款、账目、资金 销售想看销售情况，关心的是目标，各小组任务，奖金 运营想看销售情况，关心的是整体表现，要不要上活动 2.部门领导问：“今天给运营的日报数据是多少？”3.产品经理问：“昨天登录数据有问题不？”4.销售部的同事问：“为啥这个月业绩没有达标呀？”5.运营部的同事们问：“预测一下，下个月指标走势？”分..
2022-02-25 09:40:11
1115
原创 数据分析 - 常用数据分析指标（学习笔记）
互联网行业 - 用户行为类指标传统行业，用户行为发生在门店里，极难用数字化手段记录，因此只有在发生交易时，才能记录数据。而互联网行业依托小程序/H5/APP，能记录用户在每个页面的点击，相当于在网上店铺的每一步动作都有记录，因此能分析很多东西。具体到指标上，可以套用AARRR模型，分模块展开：1.拉新：主要用于分析拉新的转化效率与质量。2.用户活跃类指标：用户活跃类指标是日常关注的重点。3.用户留存类指标：留存指标一般和拉新/活跃指标结合起来看。由于留存统计相对滞后（要等
2022-02-25 09:33:04
722
原创 机器学习 - 关联分析 Association Analysis（学习笔记）
TID ITEMS 001 Cola, Egg, Ham 002 Cola, Diaper, Beer 003 Cola, Diaper, Beer, Ham 004 Diaper, Beer 事务：一条数据；项：Egg 一项；项集 {Egg, Ham} 2-项集项集的超集：包含这个项集的元素且元素个数更多的项集支持度计数：{Diaper, Beer}出现在事务 002、003和004...
2022-02-23 20:55:47
1015
原创 数据分析 - 6.漏斗分析法（学习笔记）
场景如打开电商app想买东西，经过首页→广告页→详情页→购物车→支付，五个步骤。这五个步骤缺一不可，因此存在前后关系。即必须完成前一步，才能继续完成后一步。非互联网企业专属，只是互联网企业方便做埋点。传统门店的：进店→选货→试穿→谈价→成交；传统会议的：签到→听讲→互动→谈价→成交 都是漏斗模型。漏斗分析要注意，从完成第一个环节开始统计。这一点涉及统计准确性。还以电商APP举例，实际上用户行为不会首页→广告页→详情页→购物车→支付一竿子捅到底，而是相当随性的。比如先点击广告页以后退出去看
2022-02-22 23:31:12
681
原创 数据分析 - 5.指标拆解法（学习笔记）
指标拆解法应用场景是当遇到好几个指标的时候，这样就要先分清这些指标间的关系。常见的指标间的关系第一种：并列关系几个指标相互独立，且是上一级指标的组成部分。比如我们常说的：业绩=客户数*消费率*客单价此时，客户数、消费率、客单价就是并列的三个指标，并且都是业绩的子指标。第二种：串行关系几个指标相互关联，有前后顺序关系。比如我们常说的：新注册用户数=广告浏览人数*落地页转化率*注册页转化率。用户要先看到广告，再点击广告进入落地页，再完成注册。此时，广告页、落地页、注册页的指标
2022-02-22 23:20:42
1427
原创 数据分析 - 4.分层分析法（学习笔记）
分层分析，是为了应对平均值失效的场景。如何设定分层层级？简单有效的判断方法，比如著名的“二八原则”。以销售业绩分层为例，可以先从高到低排序，然后把累积业绩占80%的人选出来，作为“第1层级（优等）”，其他的归为“第2层级（次等）”。但是从上图也能看出，这样分并不很合理，有一些业绩很低的业务员被归入了一级。这是因为，在这一个销售团队内，业绩差异实在太大了，因此简单的二八开并不能有效区分。此时还可以用“二四六八十”法则，即计算个体与平均值的差异，然后： 比平均值高的，根据平均值的2倍、
2022-02-22 23:08:11
1400
原创 数据分析 - 3.矩阵分析法（学习笔记）
有不懂行的小白把它捧到“核心思维”，“底层逻辑”的高度。哈哈，才没有那么神呢。数据分析领域，有一个简单，但非常致命的核心问题：“到底指标是多少，才算好？”为了这个问题，公司里经常吵成一团。矩阵分析法就是试图解决这个问题。它的逻辑非常简单：比平均值高，就算好！如何构造矩阵既然用平均值就可以了，为什么还要做矩阵呢？因为单纯靠一个指标，不能充分评价好坏。比如考核销售，如果只考核销售业绩。那销售们很可能倾向于卖利润很低的引流型产品。那种利润高，价格高，不容易卖的利润型产品，就没人卖了。最后销售卖越多，公
2022-02-22 22:20:11
2406
原创 数据分析 - 2.结构分析法（学习笔记）
结构分析法／拆解法／拆分法 多种叫法。何为结构？一般把构成整体的各个部分叫：结构。比如一家综合企业：小熊公司，有3条业务线（天猫店、实体店、小程序商城）同时在开展。则总业绩就是有天猫店业绩、实体店业绩、小程序业绩三部分构成的。这就是总业绩的结构。注意：总业绩的结构可能不止一种分类方式。比如，小熊公司有普通、黄金、钻石三档次会员，则总业绩=普通会员业绩+黄金会员业绩+钻石会员业绩；小熊公司有300款商品，总业绩就是这300款商品业绩之和。总之，只要是整体的组成部分，就是一个结构。知道结构的用处
2022-02-22 22:05:50
255
原创 数据分析 - 1.周期性分析法（学习笔记）
常见的周期包括两种：自然周期/生命周期。自然周期所谓自然周期，是指业务指标随着时间自然发生波动，比如有人吐槽“2月份业绩自然少”，这是因为2月份过年，大家都放假了，业绩肯定少呀。类似地：吃喝玩乐类的消费，一般周六、周日比较多，这时候才有空出来玩。 企业间交易，一般工作日高，周末很低。大家都放假了谁还办公呀。 雪糕冰棍冰淇淋类商品，一般夏季是旺季，冬季是淡季 帽子手套暖手宝类商品，一般冬季是旺季，夏季是淡季很多时候，自然周期表现并不直观，隐藏在日常起起伏伏的数据里。这时候就需要我们
2022-02-22 21:48:56
13335
原创 数据分析 - 预测模型（学习笔记）
快速预测的方法，只用excel就能搞掂哦。大部分日常工作的预测，都是基于连续几个数据，比如：有今年1-5月销量，问6月销量咋样？ 有最近10周的新增用户，问第11周有多少？ 有过去30天的业绩，问今天业绩如何？这种预测有个专业名词：时间序列预测。常见的数据走势有三种：趋势型：连续发展的态势。（增长趋势／降低趋势） 躺平型：变动较少，一条直线。 周期型：有规律的周期性波动。1.趋势型这里简单解释一下公式公式里Y就是要预测的用户量数据（因变量），X是自变量...
2022-02-21 22:30:39
14669
原创 数据分析 - 人货场模型（学习笔记）
何为“人货场”人货场，是指影响销售的三个重要因素（不是三个指标哦）。1）人来自销售人员、顾客的因素。销售人员：人员是否足够，素质是否满意，执行是否到位？ 顾客：是否有足够顾客到来，是否有成交，成交消费力如何？2）货商品因素。商品质量：种类是否丰富、款式是否够吸引、有没有爆款。 商品数量：商品备货是否充足，畅销品是否短缺，滞销品有多少。3）场卖场/门店/销售渠道因素。卖场数量：线下门店数量/位置、线上引流渠道数量/类型。 卖场质量：线下门店装修、面积、陈列，线上引流渠
2022-02-21 10:39:20
4093
原创 数据分析 - 同期群模型（学习笔记）
同期群的原理商品同期群：商品的LTV模型做法如下：设定商品等级（A、B、C级） 从商品上市时，开始观察 观察商品上市后销量/利润走势 对比每个等级商品，是否达成该商品平均水平 如表现优于平均，则重点关注缺货问题，保障供给 如表现劣于平均，则重点关注积压问题，减少库存用户同期群：用户留存率模型做法如下：设定用户分群（一般按注册时间or注册渠道）。 从注册时间开始，观察每X天后，该批次用户的留存率。 拟合整体走势，预判X天后，该批次用户留存数量。 找到留..
2022-02-21 10:25:22
656
原创 数据分析 - 9.MECE法（学习笔记）
MECE是（Mutually Exclusive Collectively Exhaustive）的缩写，指的是“相互独立，完全穷尽”的分类原则。通过MECE方法对问题进行分类，能做到清晰准确，从而容易找到答案。问题场景：项目组的张雨萱小妹纸又迟到了！上个月居然迟到了19天！原本同事们迟到个两三天，HR是不会管的，可这一个月19天迟到也太夸张了，于是告到领导那里。妹纸哭得梨花带雨地来投诉：那项目组好多人都迟到呀，你们也不管； 那遇到下大雨全程堵车呀，你们又不管； 那临近项目上线，就是搞到很晚
2022-02-20 21:18:50
782
原创 数据分析 - 8.标签分析法（学习笔记）
标签分析法注意，标签和数据指标之间，是可以做相互转换的。比如高富帅的“高”，也可以表达为：身高181cm以上。比如天气是：“刮风下雨”，也可以表达为：当日降雨10mm。因此在使用标签的时候，一定要确保标准统一并且让所有人理解一致，避免理解错误。举个简单的例子，南方某省，8月份经常下暴雨。大家都觉得：下雨会影响门店业绩。那么怎么分析呢？按照五步法，可以针对该省份门店，做分析如下图：那么可以得出结论：下雨对业绩影响不大，这就做完了。但这和大家的直观感受非常不一样！明明感觉是下雨了业绩就少，为啥数
2022-02-20 20:15:55
392
原创 数据分析 - 7.相关分析法（学习笔记）
相关分析就是判断两个事件是否有关系，如：广告投入／营销投入与销售业绩／业绩产出、下雨与门店销售量／门店人流量、用户点击与消费行为、销售上涨与新品上市。直接相关关系指标之间可能存在直接相关关系。常见的有三种形态：在结构分析法中，整体指标与部分指标之间的关系在指标拆解法中，主指标与子指标之间的关系在漏斗分析法中，前后步骤指标之间的关系直接相关直接相关不需要数据计算，通过指标梳理就能看清楚关系。直接相关的情况下，两个指标出现同时上涨/下跌的趋势。比如：整个公司业绩都不好，所以A
2022-02-20 18:47:45
1206
原创 机器学习 - SPSS - 聚类（学习笔记）
两步聚类（Two Step)同时处理类别变量、连续变量自动确定最终的分类个数，具备自动探索未知领域的能力占用内存资源小，适合处理大型数据集，速度快同其他统计方法一样，二阶聚类也有严苛的适用条件，它要求模型中的变量独立，类别变量是多项式分布，连续变量须是正态分布。步骤：1.预聚类，即对案例进行初步归类，也允许最大类别数由使用者决定；2.正式聚类，将步骤1的出局类别在进行聚类，并确定最终的聚类方案，并会根据一定的统计标准确定聚类的类别数量。层次聚类可以对变量或案例进行聚类，变量可以为
2022-02-19 17:18:43
1117
原创 机器学习 - 聚类 基于网格的聚类算法（学习笔记）
其原理是将数据空间划分为网格单元，将数据对象映射到网格单元中，并计算每个单元的密度。根据预设阈值来判断每个网格单元是不是高密度单元，由邻近的稠密单元组成“类”。1.将数据空间划分为网格单元2.依照设置的阈值，判定网格单元是否稠密3.合并相邻稠密的网格单元为一类鉴于基于划分和层次聚类方法都无法发现非凸面形状的簇，真正能有效发现任意形状簇的算法是基于密度的算法，但基于密度的算法一般时间复杂度较高，1996年到2000年间，研究数据挖掘的学者们提出了大量基于网格的聚类算法，网格方法可以有效减少
2022-02-19 14:21:57
6776
原创 机器学习 - 聚类 层次聚类 Hierarchical（学习笔记）
其核心思想是，把每一个单个的观测都视为一个类，而后计算各类之间的距离，选取最相近的两个类，将它们合并为一个类。新的这些类再继续计算距离，合并到最近的两个类。如此往复，最后就只有一个类。然后用树状图记录这个过程，这个树状图就包含了我们所需要的信息。...
2022-02-19 14:14:00
499
原创 数据分析 - 数据可视化图表 适用场景（学习笔记）
柱状图plt.bar(x,y) 比较、趋势、占比适用：对比分类数据。局限：分类过多则无法展示数据特点。相似图表：1）堆积柱状图。比较同类别各变量和不同类别变量总和差异。2）百分比堆积柱状图。适合展示同类别的每个变量的比例。条形图类似柱状图，只不过两根轴对调了一下。适用：类别名称过长，将有大量空白位置标示每个类别的名称。局限：分类过多则无法展示数据特点 。相似图表：1）堆积条形图。比较同类别各变量和不同类别变量总和差异。2）百分比堆积条形图。适合展示同类别.
2022-01-15 23:43:09
3354
原创 Pandas数据分析 - 字符串操作
str.count()：计算某个字符的数量str.upper()：转化为小写字母str.lower() ：转化为大写字母str.len()：求每个字符串的长度str.startswith()：判断起始是否为某个指定字母str.endswith()：判断结束是否为某个指定字母str.strip()：去除字符串两边的空格str:rstrip()：去除字符串右边的空格str.lstrip()：去除字符串左边的空格str.replace()：替换字符串import nump
2022-01-15 19:34:03
699
原创 Pandas数据分析 - 时间相关的数据类型
常见的两种数据类型是datetime和timedelta。datetime顾名思义就是既有日期date也有时间time，表示一个具体的时间点(时间戳)。2021-12-23 (date) 12:00:00 (time) ---> datetimetimedelta则表示两个时间点之间的差，比如2020-01-01和2020-01-02之间的timedelta即为一天。将时间列转换为时间格式data.trade_date.head()0 201901021 2.
2022-01-15 12:18:25
1754
原创 Pandas数据分析 - 缺失值判断 - isnull()等 用法
numpy用isnan()检查是否存在NaN(Not a Number)。pandas用.isna()或者.isnull()检查是否存在NaN。判断缺失值：data.isna() / data.isnull(); data.notna()/ data.notnull()填充缺失值：data.fillna(value=" ")删除缺失值：data.dropna()import numpy as npimport pandas as pddf=pd.DataFrame(np
2022-01-15 00:33:54
3695
原创 Pandas数据分析 - 去重 - duplicated() drop_duplicates() 用法
import numpy as npimport pandas as pd#生成重复数据df=pd.DataFrame(np.ones([5,2]),columns=['col1','col2'])df['col3']=['a','b','a','c','d']df['col4']=[3,2,3,2,2]df=df.reindex(columns=['col3','col4','col1','col2']) #将新增的一列排在第一列df col3 col4 col1 col20 .
2022-01-15 00:08:20
950
原创 Pandas数据分析 - 分列 - split() 用法
函数用法：split(sep,n,expand=false)sep表示用于分割的字符；n表格分割成多少列；expand表示是否展开为数据款，True输出Series，False输出Dataframe。import numpy as npimport pandas as pd# 将每个数据按照_分割返回结果默认是一个由列表组成的Seriess = pd.Series(['a_b_c', 'd_e_f', np.nan, 'g_h_i'])s.str.split('_')0
2022-01-14 23:42:36
7068
原创 机器学习 - 数据降维 奇异值分解SVD Singular Value Decomposition（学习笔记）
SVD是提取信息的一种方法，可以把 SVD 看成是从噪声数据中抽取相关特征。从生物信息学到金融学，SVD 是提取信息的强大工具。SVD的定义SVD是对矩阵进行分解。假设我们的矩阵A是一个m×n的矩阵，那么我们定义矩阵A的SVD为：????=????Σ????????其中U是一个m×m的矩阵，Σ是一个m×n的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素都称为奇异值，V是一个n×n的矩阵。U和V都是酉矩阵，即满足????????????=????,????????????=????
2021-12-29 11:44:59
1095
原创 机器学习 - 数据降维 主成分分析PCA Principal Components Analysis（学习笔记）
数据降维技术中，应用最多的方法就是PCA（Principal Components Analysis）。目标：寻找k（k<n）维新数据，使它们反映事物的主要特征。核心：在信息损失尽可能少的情况下，降低数据维度。例如，要把三维数据降为二维数据，就需要把三维数据投影到一个平面，然后为了使损失的数据尽可能少，就希望三维数据的各点到这个平面的距离尽可能小。我们可以把这个投影的线或面理解成主成分，而各点到它们的距离可以理解成损失的信息。如何保留主要信息？那就是投影后不.
2021-12-29 10:49:02
743
原创 机器学习 - 聚类 DBSCAN算法(基于密度的空间聚类算法) （学习笔记）
基于区域点密度筛选有效数据基于有效数据向周边扩张，直到没有新点加入特点：过滤噪音数据；不需要人为选择类别数量；数据密度不同时影响结果
2021-12-28 23:44:29
496
原创 机器学习 - 聚类 均值漂移聚类(Meanshift)（学习笔记）
在中心点一定区域检索数据点更新中心重复流程到中心点稳定特点：自动发现类别数量，不需要人工选择；需要选择区域半径
2021-12-28 23:43:50
428
原创 机器学习 - 聚类 K均值聚类 KMeans Analysis（学习笔记）
根据数据与中心点距离划分类别基于类别数据更新中心点重复过程直到收敛特点：实现简单、收敛快；需要指定类别数量（需要告诉计算机要分成几类）
2021-12-28 23:42:56
793
原创 机器学习 - 分类 K 最近邻分类算法 K Nearest Neighbor（学习笔记）
在学习 KNN 算法的过程中，要牢记两个关键词，一个是“少数服从多数”的投票法则（majority-voting），另一个是“距离”，它们是实现 KNN 算法的核心知识。KNN算法原理KNN算法本身简单有效，它是一种lazy-learning算法。分类器不需要使用训练集进行训练，训练时间复杂度为0。KNN分类计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么KNN的分类时间复杂度为O(n)。KNN 算法简单易于理解，无须估计参数，与训练模型，适合于解决多分类问题、
2021-12-28 22:59:47
737
原创 机器学习 - 回归 岭回归 RidgeRegression和Lasso（学习笔记）
什么是范数？范数又称为“正则项”，它是机器学习中会经常遇到的术语，它表示了一种运算方式，“范数”的种类有很多，不过常见的范数主要分为两种：L1 和 L2。下面我们来分别认识一下它们。1) L1范数L1 范数非常容易理解，它表示向量中每个元素绝对值的和，根据定义，L1 范数的计算分两步，首先逐个求得元素的绝对值，然后相加求和即可。下面给出了 L1 范数正则化定义的数学表达式，如下所示：2) L2范数L2 范数出现的频率更高，表示向量中每个元素的平方和的平方根。根据定义，L2 范数的计算
2021-12-28 20:31:36
257
原创 机器学习 - 分类 逻辑回归 Logistic Regression（学习笔记）
乍一看算法名字，会认为逻辑回归是用来解决“回归问题”的算法，但其实它是针对“分类问题”的算法。19 世纪统计学家皮埃尔·弗朗索瓦·韦吕勒发明了 Logistic 函数，该函数的叫法有很多，比如在神经网络算法中被称为Sigmoid函数，也有人称它为Logistic 曲线。其函数图像如下所示：...
2021-12-28 20:21:42
953
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人