Soyoger
申明:个人微信公众号:AI技术研习社,公众号ID:ai2club。本博客只是用来学习,并不从事任何商业活动,其内容是自己总结或者来自互联网搜索到的,并没有过多关注版权问题,如有侵权内容,请私信我进行删除,谢谢。本博客内容主要围绕计算机领域热点技术和工作内容,不涉及版权问题,任何人可以查看、转载。
展开
-
开篇词:数据分析思维才是你的核心竞争力
随着大数据技术在各行各业应用的越来越广,数据驱动智能产品和精细化运营已经成为企业经营的制胜法宝,相应地,数据分析师这个岗位也越来越受到关注。后互联网时代,企业的数字化转型已经成为必由之路,企业由数据驱动,工作需要数据思维,结论先行,数据跟上,人人都是数据分析师!数据分析师已成为行业标配当餐馆扫码下单,机器人送餐,刷脸支付完成时,当机场、火车站安检开了人脸识别通道,当ETC已经在取代人工岗亭,当智能客服取代了人工客服,甚至连外卖小哥也面临无人配送的挑战时……信息革命已经来了,数据驱动的产品越来越多智能化原创 2022-01-08 20:07:07 · 1213 阅读 · 0 评论 -
逻辑推理篇:数据分析最爱用的估算法:费米估计
在科学研究中,有这样一类估算问题,初次接触会觉得已知条件太少,无法得出答案,但如果对分析对象进行变通替换,问题就会迎刃而解,这就是费米问题。它可以用来对给定有限信息的问题做出清晰地验证估算。一、费米估计的起源:有这样的一个故事:1945年世界上第一颗原子弹爆炸。费米在感觉到震波的同时,把举过头顶的笔记本碎纸屑松开,碎纸屑落在身后2.5米的距离,通过心算后,得出结论原子弹的能量相当于10000tTNT的量,后来一些高科技仪器证明了费米的估算是正确的。同样的故事还有:地球的周长是多少?使用费米估计的解决原创 2022-01-08 20:12:52 · 4951 阅读 · 0 评论 -
逻辑推理篇:数据分析中违背常理的悖论:辛普森悖论
在现实生活中,我们常常会遇到这样一种现象,当尝试研究两个变量是否具有相关性的时候,会分别对此进行分组研究。然而,在分组比较中都显示非常有优势的一方,在总评时却成了失势的一方。直到1951年,英国统计学家E.H.辛普森发表论文对此现象做了描述解释,后来人们就以他的名字命名该现象,即辛普森悖论。思考下,辛普森悖论为什么成立?一、辛普森悖论的原理下面给出辛普森悖论的数学原理:从数学表达式上,我们可以看出,对a、b、c、d四个变量,分成1组和2组,在1组比率占优势的情况下,总体占优势却不成立。看一个例原创 2022-01-08 20:13:24 · 2848 阅读 · 0 评论 -
思维模型篇:数据分析的本质是什么?
数据分析的本质是什么?当你做数据分析,或者想去做数据分析的时候,你有没有想过,数据分析的本质是什么?谈到数据分析的本质,我们先回顾一部网红据《长安十二辰》,里面有一种独创的算法“大案牍术”令人印象深刻,其发明人是靖安司徐宾,利用案牍中记录的各种数字——主要以人口档案信息为主,可准确推断真相和预测未来。神不神奇?厉不厉害?时间如果穿越到现代,这不就是今天的数据采集、大数据平台和数据挖掘和分析的那一套技术吗?更厉害的是,徐宾利用大案牍术,在靖安司的案牍中,通过梳理分析人物的习惯和爱好,最终成功推演出长安原创 2022-01-08 20:14:32 · 1088 阅读 · 0 评论 -
思维模型篇:数据分析必知必会的两个原则
每一个在职场工作的人,我相信,面对遇到的问题都会有极大的热情去解决,可为什么别人解决问题很快就可以把握重点,做到面面俱到,为什么自己却丢三落四,不分主次?同样都在努力,结果却不尽相同呢, 有人还在原地踏步,有人却升职加薪?就拿我来说,在职场工作了多年以后,直到现在才明白一个道理,那就是解决问题的思维方式造就了不同的结局,在工作中,除了努力,有一些方法论是必须要掌握的,我们不能用战术上的勤奋掩盖战略上的懒惰。所以,下面我要分享的两个原则,它俩不仅局限在数据分析,在解决其他现实、管理、创业问题时同样适用。原创 2022-01-08 20:19:41 · 496 阅读 · 0 评论 -
思维模型篇:三种思考模型
新人做数据分析有个误区,认为Excel很Low,SQL做久了又是表哥表姐,学习Python又陷入无尽的工具包中不能自拔,迷茫到找项目学习,结果是分析又不得要领,说多了都是泪,这是为什么呢?其实,这是因为忽略了数据分析最核心的东西——分析模型。我们都知道程序=算法+数据。我个人认为,在数据分析领域,我们可以这样说:数据分析=思维+数据真正重要的东西,一是思维方法论,二是数据,其他都属于帮助我们完成数据分析的工具,只不过这些工具使用场景和效率不同而已。因此,我特别强调数据分析的思维方法论,可以让我们的原创 2022-01-09 11:00:00 · 789 阅读 · 0 评论 -
思维模型篇:四大战略分析工具
提到战略,最早应该主要是用在军事方面的概念,战指战争,略指谋略。战略一词就被认为是一种长远的规划,远大的目标,需要全局规划,其制定离不开战略分析,而战略分析通常的做法是收集和分析各类因素,从多个角度进行全面考虑,最终达成一个可实现目标。例如,在中国古代,由于连年战火纷争,懂军事战略的人,通常成为了改变历史的核心人物。例如,从道、天、地、将、法进行军事战略分析的《孙子兵法》更是闻名于世。而近现代处于和平时期,战略分析不在局限于军事,而是转向经济、教育、企业管理等,尤其在企业管理和营销领域,战略分析被认为是原创 2022-01-08 20:22:18 · 422 阅读 · 0 评论 -
思维模型篇:五大生命周期理论
人类有史以来,从来没有停止对宇宙的探索,从生命、陆地、海洋、宇宙、暗物质到黑洞,虽然我们依然对宇宙生命充满了无知和迷茫,但是在这个过程中却总结出了很多关于生命周期的理论。关于生命周期,简单点说,就是人会生老病死,花会花开花落,宇宙中的万事万物都在进行有始有终的关于生死的周期性演绎。引用老子在《道德经》中说法,即道生一,一生二,二生三,三生万物。万物变幻,九九归一。到如今,生命周期的概念也被广泛应用在社会、政治、经济、企业和技术领域,通俗理解就是一个事物从新生到消亡的过程。下面,介绍数据分析领域常见的原创 2022-01-09 16:40:54 · 1506 阅读 · 0 评论 -
思维模型篇:数据化营销的六脉神剑
随着大数据的发展,越来越多的企业重视数据化运营,与传统的粗放型管理运营相比,精细化运营成为企业发展的必然要求。而数据分析和数据挖掘技术也成了企业保持市场核心竞争力的必要手段,对于数据分析分析师来说,向上对接需求的基本都是运营的同学,为了避免因为职位不同而产生沟通上的隔阂,我们有必要对数据运营中用到的营销理论进行学习了解。本节内容主要介绍6大营销理论,分别是4P、4C、4R、4S、4V和4I理论。一 4P理论4P为代表的现代营销理论可以追溯到1960年,由杰罗姆麦卡锡在《基础营销》一书中提出,到了19原创 2022-01-09 03:00:00 · 503 阅读 · 0 评论 -
思维模型篇:行业商业分析案例详解
截止到本节内容,对于思维模型已经了解的差不多了,而这些思维模型不只是数据分析师懂,公司的产品经理、运营人员也都比较熟练,因为对于同一款产品,从构思到产品投入市场运营,大家都在围绕这一个产品的整个生命周期在工作,只不过工作分工不同而已。也就是说,同一款产品,不同的分工,朝共同的目标在努力!而作为数据分析师,我觉得挑战更大,不仅要做好数据分析师本身的工作,还要熟悉产品,了解运营。必须时刻关注外界的变化,去理解每款产品新的功能需求和经典玩法,才能在数据分析过程中,提出更有成效的策略建议。下面,来看一个实际案原创 2022-01-09 16:41:39 · 1200 阅读 · 0 评论 -
指标搭建篇:北极星指标选择和指标拆解的原则
在《精益数据分析 》里面,有这样一个观点,创业成功的一大关键因素就是真正的专注,并且形成一套纪律来保持专注,且专注并不等于目光短浅。从数据分析的角度来说,就是企业在生命周期发展的某一阶段,都会有那么一个指标,值得你关注且胜过一切,我们把这样的一个指标成为北极星指标(One Metric That Matters)或者第一指标。北极星指标北极星指标(One Metric That Matters),在企业发展的某一阶段,如果该指标一旦确定下来,就像茫茫大海里的灯塔,就像夜空中最亮的那颗星,指引着企业全体原创 2022-01-09 16:42:21 · 1520 阅读 · 0 评论 -
指标搭建篇:如何搭建指标体系?——以公众号实战为例
都知道,学习一门新知识,从知道到做到,从做到到内化为技能有一段长期的过程,需要无数次的练习。在畅销书《异类》中,格拉德威尔告诉人们一个理论,人们眼中的天才之所以卓越非凡,并非天资超人一等,而是付出了持续不断的努力。只要经过1万小时的训练,任何人都能从平凡变成超凡。这就是著名的1万小时理论,从事物发展的本质来看,它告诉人们一个由量变达到质变的效应,至于1万小时的努力,是否能成为天才,人云亦云。而在《刻意练习》一书中,认为成功的关键在于某种程度上的专注,要有针对性的练习,不断获取反馈结果,不断调整练习策略,原创 2022-01-15 08:00:00 · 350 阅读 · 0 评论 -
指标搭建篇:如何快速定位数据异常?——ROI异常实战案例
前面我们已经了解了指标体系的搭建,当完成指标体系之后,商业智能就成了指标体系最常见的应用,其中数据报表和指标监控也成了大多数数据分析师每天最重要的工作。虽然指标是一个确定的值,但是反应在时间轴上,却不是静止的,会随着时间周期进行周期性变化。同一指标的数据,方差越小,波动幅度越小,方差越大,波动幅度越大。当一个指标的波动幅度,超过了业务定的合理临界值,我们就认为该指标数据出现了异常。至于为什么发生异常?什么事情导致的异常?怎么解决该异常?这就是数据分析师要做的工作了。下面详细介绍下,关于数据指标出现异常原创 2022-01-15 08:15:00 · 635 阅读 · 0 评论 -
业务专题篇:如何用数据评价某次活动?
提到活动,最近几年的京东618,淘宝双十一、双十二活动尤其惹人注目,一顿操作猛如虎,商家战绩两千亿。对于很多快消品来说,做活动是一个有效的促进销售的手段。而数据化活动运营更是将这种效果提升到了一个峰值,活动中实时的数据监控和有效的数据反馈,更是对整个活动执行和快速解决问题提供了重要的保障。活动,看起来应该是业务或运营的分内工作,可数据分析师为啥要如此重视呢?数据化运营对于活动来说到底意味着什么呢?带着这些疑问,下面开始今天的内容。什么是活动?根据百科定义:活动是由共同目的联合起来并完成一定社会职能的原创 2022-01-15 08:30:00 · 245 阅读 · 0 评论 -
业务专题篇:用户使用路径分析
用户使用路径分析,也称为用户行为路径分析,是互联网产品数据分析的重要分析模型,下面我们开始本篇的内容。产品用户路径迭代体验下面,我们以国内两款被大家经常使用的APP为例,来看看随行业变化和用户使用习惯的变化,引起APP自己本身产品迭代,以及不同领域产品对用户使用路径变化的趋势。先看看支付宝,自上线以来,从单一的定位网络支付,到目前核心功能已经发生巨大的变化,目前主要集中在理财、首付款和出行。如上图所示,左侧是2017年支付宝顶部导航和2020年导航的变化,随着支付宝功能模块越来越多,且想占领出行领原创 2022-02-26 18:38:54 · 928 阅读 · 0 评论 -
业务专题篇:渠道流量分析
随着中国互联网发展到一个新的阶段,最近几年,我们我们经常听到圈内有人说人口红利消失了,流量枯竭了,这其实表明了一个问题,就是互联网存量用户已经接近天花板,获客男和获客成本高,已经成为用户增长乏力的不争事实。互联网圈又是一个马太效应非常强的圈子,强者恒强、弱者越弱,优质的渠道和流量都被头部互联网企业所占据,中小企业能够分到的流量越来越少,越来越贵。在这种情况下,很多企业产品渠道营销和推广正面临这前所未有的挑战,如何提升渠道质量,如果提高流量转化率直接关系到渠道ROI指标,而数据分析师正是通过对渠道流量的系原创 2022-02-26 18:39:41 · 1484 阅读 · 0 评论 -
业务专题篇:用户增长分析
最近几年,随着人口红利逐渐消失,越来越的行业和领域开始重视用户增长,而增长黑客这一概念也开始被普遍提及,甚至很多招聘网站专门出现关于增长黑客的招聘信息。什么是增长黑客增长黑客起源于美国硅谷,指通过数据分析的手段来实现用户增长的过程,具体过程是以数据为导向,通过对渠道数据、用户使用行为数据和活动推广等数据进行分析,发现存在的问题和新的增长点,并通过结果指标进行量化。在《精益数据分析》一书中,对于增长黑客的结果指标,总结为可执行指标和虚荣指标。可执行指标:指的是能够反映真实效果和指导具体行动的指标,比如原创 2022-02-26 18:40:17 · 1031 阅读 · 0 评论 -
业务专题篇:AB测试实验设计与评估
A/B测试已经成为互联网领域最常见的定量试验与数据收集方式,也是产品、运营和数据分析师的必备能力。对于互联网公司来说,A/B测试是一种有效的精细化运营手段,过去很多依靠经验的粗放式策略管理,通过A/B测试改变为可量化的精准决策。A/B测试是一种通过已有客观指标,通过对比不同分组方案来衡量哪种效果最佳的方法。它的优势在于能够在“真实的线上环境中”,通过部分或者少量用户验证不同的方案。例如,在对产品进行A/B测试时,我们可以为同一个优化目标(提升支付率)制定两个方案,让一部分用户使用A方案,另一部分用户使用原创 2022-02-26 18:41:02 · 1930 阅读 · 0 评论 -
SQL实战篇:SQL基础及执行顺序
对于数据分析师来说,不管什么行业,大多数岗位要求都需要熟练使用SQL,尤其在互联网行业要求更是严格,海量的数据存储在数据库中,不懂SQL就寸步难行,更何谈数据分析了,而写的一手好SQL,却可以让自己提升工作效率,看问题也更深入。关于数据库,目前市面上按存储类型,分成关系型数据库、非关系数据库和NOSQL等,而在实际业务中,关系型数据库占绝大多数,故下面重点介绍和总结关于关系型数据库的SQL相关的知识,并以Mysql为例。SQL基础知识关于数据库相关的知识点,详细总结如下图所示:下面根据数据分析师的原创 2022-02-26 18:47:35 · 459 阅读 · 0 评论 -
SQL实战篇:SQL行列转换及真题
对于数据分析师来说,日常进行SQL分析和制作报表的过程中,经常会遇到通过SQL进行行列转换的需求,本节内容对常见的行列转换进行了总结,常见的行列转换包括以下四种情况:列转行行转列列转换成字符串字符串转换成列下面内容将具体进行案例讲解。列转行首先,创建一张表学生表t_student。DROP TABLE IF EXISTS `t_student`;CREATE TABLE `t_student` ( `id` int(20) NOT NULL AUTO_INCREMENT COMME原创 2022-02-26 18:48:01 · 595 阅读 · 0 评论 -
SQL实战篇:SQL窗口函数及真题
在数据分析师面试笔试过程中,窗口函数是各大公司笔试题中高频出现的知识点,因为在实际工作中,很多涉及到组内排名或求topN等相关的问题,都有一个共同的特点,实现起来不是简单的表连接或者聚合函数就可以完成,而是需要在单表中满足某些条件的记录集内部做一些函数操作。要解决此类问题,最便捷的就是使用窗口函数来轻松解决,可以说窗口函数是数据分析师必须熟练掌握的技能。什么是窗口函数窗口函数也称为OLAP函数。OLAP是Online Analytical Processing的简称,意思是对数据库数据进行实时分析处理原创 2022-02-27 06:30:00 · 463 阅读 · 0 评论 -
SQL实战篇:SQL解决近X天的问题
在面试和实际项目中,我们经常会遇到这样两类问题,即以时间为轴线,沿着时间轴分析过去一段时间的用户特征或者行为。一类是根据用户第一次访问的时间统计最近N天的行为特征,称之为近X天问题;另一类是根据用户第一次访问的时间统计连续N天的行为特征,称之为连续X天问题。下面,先讲下近X天问题的解决方法。一般在BI报表里面,关于用户分析时,用户留存是个不可缺少的分析,而业界比较成熟的判断标准就是计算一些具体的指标,包括计算用户次日、3日、7日、30日和90日的留存率。这些指标的通俗定义如下:次日留存:当日登录后原创 2022-02-27 06:45:00 · 450 阅读 · 0 评论 -
SQL实战篇:SQL解决连续X天的问题
上一节内容,通过用户留存率的案例,讲解了解决近X天问题的思路,接下来,在本节内容来看看关于连续X天的问题,该类问题是面试和实际业务中经常需要解决的问题。首先对连续指标、做个定义,如下:1日连续:当日登录后,第二天也登录了,比如2021.2.10登录过,2021.2.11登录的算作1日连续 。3日连续:当日登录后,第二和三天也登录了,比如2021.2.10登录过,2021.2.11和2021.2.12登录的算作3日连续 。以此类推···现假设,有一张用户登录表t_user_login,字段use原创 2022-02-27 07:00:00 · 1066 阅读 · 0 评论 -
SQL实战篇:SQL优化问题
本节内容,讲一个非常重要的知识点,关于SQL的优化问题,很多数据分析师经常会遇到一个问题,一个简单的数据分析,明明只要花1-2分钟就可以完成,但是跑数却需要花费几十分钟到几小时不等,这个时候提升SQL的执行效率就显的格外重要。回顾SQL执行顺序首先回顾一下SQL的执行顺序。编写过程:SELECT DISTINCT < select_list >FROM < left_table > < join_type >JOIN < right_ta原创 2022-02-27 07:15:00 · 391 阅读 · 0 评论 -
结束语:投递简历和选公司的策略
当我们有了数据分析的能力时,工作实践才是我们真正的战场,在真实的场景中,付出自己的时间来给企业创造价值,同时还可以获取高薪享受生活。无论此时的你是正在就读的学生,亦或转行想要成为数据分析师,都要经历面试这一关卡,本节的内容将有针对性的给出一些影响数据分析师求职的建议,帮助你在面试过程中查漏补缺。认识数据类岗位知彼知已,百战不殆。随着大数据技术的发展,数据类工作岗位在企业中愈发的重要,相应的数据类岗位对从业人员有了更高的要求,对应的岗位也更加分工明确和专业细化,常见的数据类岗位分工,如数据挖矿工程师、算原创 2022-02-27 08:00:00 · 371 阅读 · 0 评论