数据分析与挖掘常用知识点

目录

一、数据分析方法论

1.PEST分析法

2.5W2H分析法

3.SWOT分析法

4.4P营销理论

5.逻辑树法

6.AARRR模型

二、数据分析思路

1.趋势分析

2.多维分解

3.用户分群

4.漏斗分析

5.留存分析

6.A/B 测试

7.对比分析

8.交叉分析

三、面试问题

1.逻辑回归和线性回归区别?

2.讲讲偏差与方差,如何解决?

3.决策树优点?过拟合怎么办?逻辑回归过拟合怎么办?

4.讲讲树模型:决策树、随机森林(RF)、AdaBoost、GBDT、XGBoost、LightGBM和CatBoost算法区别及联系?

5.讲讲SVM?

6.Kmeans的原理和步骤

7.你觉得数据分析师和数据挖掘有什么区别?

8.数据分析的框架或步骤

9.讲一下交叉验证

10.数据处理时,值缺失怎么处理?

11.特征处理,连续型和非连续性,如例子,年龄和性别两个特征如何处理?

12.smote过采样做法,会出现什么问题?

13.准确率和召回率的定义

14.L1和L2正则项的区别?L1范数和L2范数为什么可以避免过拟合?

15.辛普森悖论的问题

16.中位数、平均数和众数的区别,什么情形适用什么指标来代表平均水平?

17.二项分布、泊松分布、正态分布的区别是什么?泊松分布的极限形式?

18.SQL语句执行的顺序?


一、数据分析方法论

数据分析的方法论很多,其中六种比较常见的理论。

1.PEST分析法

PEST,也就是政治(Politics)、经济(Economy)、社会(Society)、技术(Technology),能从各个方面把握宏观环境的现状及变化趋势,主要用于用户行业分析

宏观环境又称一般环境,是指影响一切行业和企业的各种宏观力量。

对宏观环境因素作分析时,由于不同行业和企业有其自身特点和经营需要,分析的具体内容会有差异,但一般都应对政治、经济、技术、社会,这四大类影响企业的主要外部环境因素进行分析。

政治环境:政治体制、经济体制、财政政策、税收政策、产业政策、投资政策等。

社会环境:人口规模、性别比例、年龄结构、生活力式、购买习惯、城市特点等。

技术环境:折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度等。

经济环境:GDP 及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等。

2.5W2H分析法

5W2H,即为什么(Why)、什么事(What)、谁(Who)、什么时候(When)、什么地方(Where)、如何做(How)、什么价格(How much),主要用于用户行为分析、业务问题专题分析、营销活动等。

该分析方法又称为七何分析法,是一个非常简单、方便又实用的工具,以用户购买行为为例:

Why:用户为什么要买?产品的吸引点在哪里?

What:产品提供的功能是什么?

Who:用户群体是什么?这个群体的特点是什么?

When:购买频次是多少?

Where:产品在哪里最受欢迎?在哪里卖出去?

How:用户怎么购买?购买方式什么?

How much:用户购买的成本是多少?时间成本是多少?

3.SWOT分析法

SWOT分析法也叫态势分析法,S (strengths)是优势、W (weaknesses)是劣势,O (opportunities)是机会、T (threats)是威胁或风险。

SWOT分析法是用来确定企业自身的内部优势、劣势外部的机会和威胁等,通过调查列举出来,并依照矩阵形式排列,然后用系统分析的思想,把各种因素相互匹配起来加以分析。

运用这种方法,可以对研究对象所处的情景进行全面、系统、准确的研究,从而将公司的战略与公司内部资源、外部环境有机地结合起来

4.4P营销理论

4P即产品(Product)、价格(Price)、渠道(Place)、推广(Promotion),在营销领域,这种以市场为导向的营销组合理论,被企业应用最普遍。

可以说企业的一切营销动作都是在围绕着4P理论进行,也就是将:产品、价格、渠道、推广。通过将四者的结合、协调发展,从而提高企业的市场份额,达到最终获利的目的。

产品:从市场营销的角度来看,产品是指能够提供给市场,被入们使用和消费并满足人们某种需要的任何东西,包括有形产品、服务、人员、组织、观念或它们的组合

价格:是指顾客购买产品时的价格,包括基本价格、折扣价格、支付期限等。影响定价的主要因素有三个:需求、成本与竞争

渠道:是指产品从生产企业流转到用户手上全过程中所经历的各个环节。

促销:是指企业通过销售行为的改变来刺激用户消费,以短期的行为(比如让利、买一送一,营销现场气氛等等)促成消费的增长,吸引其他品牌的用户或导致提前消费来促进销售的增长。广告、宣传推广、人员推销、销售促进是一个机构促销组合的四大要素。

5.逻辑树法

逻辑树又称问题树、演绎树或分解树等。它是把一个已知问题当成“主干”,然后开始考虑这个问题和哪些相关问题有关,也就是“分支”。逻辑树能保证解决问题的过程的完整性,它能将工作细分为便于操作的任务,确定各部分的优先顺序,明确地把责任落实到个人。

逻辑树的使用必须遵循以下三个原则:

要素化:把相同的问题总结归纳成要素。

框架化:将各个要素组织成框架。遵守不重不漏的原则。

关联化:框架内的各要素保持必要的相互关系,简单而不独立。

6.AARRR模型

AARRR模型是所有运营人员都要了解的一个数据模型,从整个用户生命周期入手,包括获取(Acquisition)、激活(Activation)、留存(Retention)、变现(Revenue)和传播(Refer)。

每个环节分别对应生命周期的5个重要过程,即从获取用户,到提升活跃度,提升留存率,并获取收入,直至最后形成病毒式传播。

二、数据分析思路

数据分析方法论主要是从宏观角度介绍如何进行数据分析,它就像是一个数据分析的前期规划,搭建一个清晰的数据分析框架。那么对于具体的业务场景问题,就要靠具体的分析方法来支撑了,下面就介绍几种常用的数据分析思路。

1.趋势分析

最简单、最常见的数据分析方法,一般用于核心指标的长期跟踪,比如点击率、GMV、活跃用户数。可以看出数据有那些趋势上的变化,有没有周期性,有没有拐点等,继而分析原因。

2.多维分解

也就是通过不同的维度对于数据进行分解,以获取更加精细的数据洞察。举个例子,对网站维护进行数据分析,可以拆分出地区、访问来源、设备、浏览器等等维度。

3.用户分群

针对符合某种特定行为或背景信息的用户,进行特定的优化和分析,将多维度和多指标作为分群条件,有针对性地优化供应链,提升供应链稳定性。

4.漏斗分析

按照已知的转化路径,借助漏斗模型分析总体和每一步的转化情况。例如将漏斗图用于网站关键路径的转化率分析,不仅能显示用户的最终转化率,同时还可以展示每一节点的转化率。

5.留存分析

留存分析是一种用来分析用户参与情况/活跃程度的分析模型,考察进行初始行为的用户中,有多少人会进行后续行为。衡量留存的常见指标有次日留存率、7日留存率、30日留存率等。

6.A/B 测试

A/B测试是为了达到一个目标,采取了两套方案,通过实验观察两组方案的数据效果,判断两组方案的好坏,需要选择合理的分组样本、监测数据指标、事后数据分析和不同方案评估。

7.对比分析

分为横向对比(跟自己比)和纵向对比(跟别人比),常见的对比应用有A/B test,A/B test的关键就是保证两组中只有一个单一变量,其他条件保持一致

8.交叉分析

交叉分析法就是将对比分析从多个维度进行交叉展现,进行多角度的结合分析,从中发现最为相关的维度来探索数据变化的原因。

(2条消息) 数据分析方法论(6种方法,8个思路)_梵天的读书笔记的博客-CSDN博客_数据分析方法

三、面试问题

1.逻辑回归和线性回归区别?

线性回归解决的是回归问题,逻辑回归相当于是线性回归的基础上,来解决分类问题。

将线性回归变成一个0~1输出的分类问题。

区别:

1)线性回归用来预测连续的变量(房价预测),逻辑回归用来预测离散的变量(分类,癌症预测)。线性回归要求因变量是连续性数值变量,逻辑回归要求因变量是分类型变量。
2)线性回归是拟合函数,逻辑回归是预测函数
3)线性回归的参数计算方法是最小二乘法,逻辑回归的参数计算方法是似然估计的方法。

4)线性回归要求变量服从正态分布,逻辑回归对变量分布没有要求

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值