ArnoChanszu-CSDN博客

原创谈谈对数据产品经理的理解

去年系统受训过产品经理的内容，并取得NPDP产品经理资格认证，实际工作中也有幸从数据分析师转岗到数据产品经理，因此斗胆结合自己的认知来谈谈对于数据产品经理的理解，仅供参考。一、为什么数据产品经理有了大缺口？数据的使用价值在于为决策提供更理性的依据。不管是数据分析师的分析决策建议，还是半自动化半人工的决策辅助，企业也希望尽可能地实现数据分析智能化，更方便、更快捷的决策。数据产品就是为实现这一目的而生，通过集成化数据处理、数据分析、决策规则等流程，为管理者、产品、运营...

2020-08-25 15:23:01 655

原创数据分析场景 -- 异常数据分析

对于异常数据的分析，相信每位数据分析师都不陌生，对于业务部门来说同样很希望了解数据分析的思路。去年同期也写过类似的一篇异常数据分析文章，过了一年后有了更进一步的思路和想法，因此再次分享一下，对于数据分析师常见的“异常数据分析”。分析思路包括以下5个步骤： 1. 确定这是不是问题？ 2. 判断问题严重吗？ 3. 具体问题具体分析，找出原因 4. 拉齐业务，对症下药 5. 形成SOP或数据产品下面来...

2020-08-12 16:17:52 941

原创数据分析方法之矩阵思维

引言:想知道乔布斯重返Apple如何缔造传奇，带领Apple起死回生吗？提起时间管理，你会想到什么？面对杂乱无章的问题，如何快速整理思绪？如果你对如上3个问题感兴趣，enjoy～分析问题有没有套路呢？没有，因为一定是具体问题具体分析；但也可以说有套路，因为通过古圣先贤的经验总结，还是为我们留下很多宝贵的思考框架的。今天介绍的是道法术器中的一套思维方法 -- 矩阵思维（又叫象限思维，以下统称矩阵思维）。所谓法，有点类似武侠小说中的内功，是...

2020-08-11 09:39:52 1569

原创数据分析27字方法论

《数据挖掘与数据化运营实战》一书作者卢辉前辈总结数据分析的基本方法论为21字箴言：做假设、定标准、做比较、看趋势、观全局、辨真伪、下结论在这个基础上，我想可以再加上6个字：理流程，贴标签怎么说呢？做假设：数据分析或挖掘的路径之一是：有预设观点，然后通过数据来论证。也就是说，需要明确分析的目标是什么定标准：即统一数据口径，明确对比的有效性和可比性做比较：孤单的数据很难有概念，但是有个baseline数据一下子就活起来了。标准可以是目标、kpi...

2020-08-06 13:25:44 174

原创 HQL数据倾斜解决方法总结

近来，求职数据分析师常被问到：数据倾斜如何调优？对于经常使用HQL处理大数据的同学，这个问题并不陌生：任务进度长时间维持在99%，而查看监控页面，会发现只有某几个reduce子任务尚未完成，十分诡异。要解决数据倾斜这个问题，我们需要先了解下数据倾斜产生的原因是什么？一般由于以下三个操作：count(distinct *), group by , join引起的，导致某个reducer处理的数据过多引起处理时间非常耗时。因此解决调优的方式可以从3方面入手尝试：...

2020-08-20 17:10:03 503

原创数据分析师必备技能之SQL(6) -- 字符串函数

文本也是数据处理中常见的类型之一，相比于相对成熟的数学函数而言，字符串的处理场景更复杂多变，熟练掌握常见的字符串函数则事半功倍。基础字符串处理函数length(string A)：返回字符串A的长度 eg：select length('abced') 得到 5trim(string A) ：去除字符串两边的空格 eg：select trim(' abc ') 得到 'abc'lower(string A)/ lcase(string A)：返回字符串的小写形式，常用...

2020-08-20 15:18:37 227

原创电商行业数据指标体系

前言：本文以电商平台为主体，全方位地提供一套完整的电商行业数据指标体系，作为精细化运营的指导体系，避免单点、片面地分析。虽然刻画对象是电商平台，但对于商家来说同样有着参考价值，供参考。一、电商商业环境在介绍指标体系前，先需要了解电商的商业环境，行业背景，下面简单从市场竞争及产业链维度，介绍电商平台所处的商业位置，以防挂一漏万。从市场竞争角度看，电商平台除了面临同类电商的直接竞争外，线下实体零售也是交易的业务，还有线上...

2020-08-14 22:56:18 1024

原创数据分析师必备技能之SQL(5) -- 数学函数

实战中有一半以上处理的数据类型就是数值型数据，当遇到棘手问题时，多查阅一下SQL函数，是可以高效提升数据处理的效率，本小结将重点介绍几个常用的数学函数及应用。随机抽样rand()：从数据中随机抽取一些样本，会返回一个0到1范围内的随机数 rand(int seed)：如果指定种子seed，则会等到一个稳定的随机数序列示例：从数据表中随机取两条数据，设定了rand(100)之后，每次跑出来的都是一样的两条数据；如果rand()，不指定种子seed，每次跑出来的数据都不一样...

2020-08-14 10:58:24 121

原创数据分析师必备技能之SQL(4) -- 统计聚合函数

作为数据分析的第一步，我们常常需要表述一组数据特征，例如个数、平均值、最大值、最小值等。在SQL中，我们使用聚合函数对一组数值计算返回一个汇总值，也可以配合使用group by对数据进行分组，再聚合求汇总值。常见的聚合函数：COUNT（）——返回行数 SUM（）——返回总和 MAX（）——返回最大值 MIN（）——返回最小值 AVG（）——返回平均值 STDEV() ——返回标准差1、求个数/行数等：count()例如: 统计个数select count(字段) as .

2020-08-13 09:27:45 723

原创数据分析师必备技能之SQL(3) -- 连接

实际工作中，我们会依据不同的业务建立对应的事实表及维度表，不太可能只有一两张宽表，可以涵盖所有需要的字段，这样对于存储空间是一种压力。因此，我们常常需要用到多表连接去查询需要分析的数据。连接主要包括3大类：横向连接：即拼接两个及以上单表的列数据，常用的有inner join、left join、right join 纵向连接：即拼接两个及以上单表的行数据，常用的有union ，但这种方式要求连接表的字段名称、类型需要一致全连接：即拼接两个及以上单表的行、列数据，常用的有full outer j

2020-08-12 10:16:45 173

原创数据分析师必备技能之SQL(2) -- 过滤

这里的“过滤”包含两部分内容：列的过滤：即选择哪些字段行的过滤：即选择哪些符合条件的样本数据列的过滤在实际分析数据时，我们不太可能需要所有的字段参与分析，因此实战中常常使用select选择需要参与分析的字段即可，而不是用select *把所有字段都参与进来。这在数据量大的情况下，效率差别明显。 2. 行的过滤行的过滤方式有2种，分别是通过where和having来实现的。where是在加载表数据（from）后执行，可以通过一定的...

2020-08-10 22:21:39 218

原创数据分析师必备技能之SQL(1) -- 逻辑顺序和执行顺序

数据分析师必备技能之SQL(1) – 逻辑顺序和执行顺序**写在前面的话：**SQL是数据分析师必备的数据处理、分析工具，本系列会分享一些自己的实战经验，致力于为各位同行者提供建议，避免踩坑！第一部分，先来讨论一个很容易被忽略，也很重要的问题：SQL的书写顺序和执行顺序。以下是常见的SQL语句的查询书写顺序：// SQL查询书写顺序select <select_list>from <table_name><join_type> join <joi

2020-08-10 17:12:28 295

原创系统思考启发

近来读完丹尼斯舍伍德的《系统思考》，感触较大的三点：闭环思维：系统思维的基础之一就是要有反馈，要形成闭环。这对于任何岗位的人来说，都是必备的，也如常常在讲的：事事有着落，件件有回音，也是这个道理因果链：系统思维的另一个基础是因果链，讲究因果性，和大数据崇尚的相关性似乎有矛盾。正好对应之前思考的数据上下行，其实是两条不同的思考路径而已，没必要非得争个非此即彼。除了要素本身，也要关注要素之间的连接关系：系统有两个核心概念，一个是要素，一个是连接关系。我们分析问题常常容易抽丝剥茧，将复杂问题拆解成一个

2020-08-10 13:33:01 462

原创对数据敏感度的理解

谈谈自己对于数据敏感度的理解数据量级：对常见数据量级的把握，包括公司内的、还有生活中的，例如我国网民规模8.54亿数据标准：不仅要有数量级的概念，还要有一个数据标准，让这个数据更加立体数据口径：网民规模8.54亿，微信10亿有矛盾？前者以实体去重计算，后者以移动设备计算数据时间和数据来源：统计的时间和数据来源也容易造成误解，例如互联网人口规模8.54亿来源于CNNIC平台，截至2019年6月的数据...

2020-08-09 07:43:22 682

原创商业数据分析的3个思考角度

近期重新找工作机会，觉得很头大。但同时也逼自己要冷静下来思考，对于商业数据分析，我觉得需要从这3方面去下功夫：1. 业务流程：数据是从业务中来，由业务动作产生的，所以不能仅仅只是看数据，还需要洞察数据背后的商业含义，联系上业务动作再来看数据，才能找到数据变化的原因，回到业务中去2. 数据流程：数据流程要求我们需要熟悉数据采集到数据清洗、数据流转流程、数据分析维度、数据字典等内容3. 组织架构：不管数据还是业务动作，都是由人来执行的。所以了解公司的组织架构，将数据和业务动作对应到具体的执行者上，才

2020-08-08 20:38:52 519

原创零售行业的发展趋势

丘吉尔：你能看到多久的历史，就能看到多远的未来！基于零售发展史来看，支撑零售行业变革的两股力量分别是：社会思潮、经济发展带来的用户消费需求的变更，以及新技术的应用。在此基础上，零售行业的未来发展的思考角度有三方面： 1. 从消费者角度，从变化的角度出发：社会进步、经济发展带给消费者的消费需求变化，从这个角度出发还是洞察用户消费偏好的变迁。举例，拼多多适应的是当下消费分级的国情 2. 从新技术应用角度，从不变的角度出发...

2020-08-07 11:30:10 126

原创店铺选址的6C评估模型

相比自己构建的店铺选址模型，发现存在更科学的5C评估模型，主要从城市市场评估（city）、核心区域分析（Core Distinct）、竞争分析（Competition）、交通便利性（Convenience）、成本/收入分析（Cost/Revenue）五个维度更加系统、科学评估选址。但最终还是可以落实到零售最基本的要素：人、场、人在场的行为数据基于工作中KA客户的选址分析及选址分析的数据产品，觉得应该再加入一个"C"：Correlation（协同品牌：与待选品牌/店...

2020-08-06 22:42:24 1628

原创数据指标体系搭建的7个思考点

为了对现状进行监测和预警，我们常常会建立起一套数据指标体系，同时搭建和完善体系也应该是数据分析师的一项基本功，结合实际工作中经验，总结了这个搭建过程的7个思考点：1. 目标目标，不仅要求我们梳理好业务流程（例如常见的转化率漏斗、AARRR模块），也要求我们明确好目标受众对象，建立面向管理层的核心指标，面向业务部门的二级指标，面向个人KPI的三级指标，尽可能与KPI挂钩2. 数据维度数据维度，是数据分析的一些思考角度，常见的有：渠道来源、地域等，不同业务也会有...

2020-08-06 13:21:52 341