本篇灵感源自援引《经济学人》最近发表的一篇文章,预计2020年将成为AI技术全面成为主流的一年而起,先撰写比较火热的数据产品经理岗位,在数据产品经理岗位里有对产品经理必须要懂的技术SQL、AHP、序列分析、PCB主成分分析等等,先讲SQL。
在本文中首先介绍SQL是什么,然后重点介绍怎么学SQL,同时又将学SQL分成一方面:学SQL的基础理论方面,另外一方面:学SQL的基础操作方面。
在讲解产品经理具体操作方面,讲解了基本SELECT语句操作,基本索引操作和数据建模操作等详实案例,以飨读者!
一、SQL是什么?
SQL是一种特定目的编程语言,用于管理关系数据库管理系统,或在关系流数据管理系统中进行流处理。SQL基于关系代数和元组关系演算,包括一个数据定义语言和数据操纵语言。SQL的范围包括数据插入、查询、更新和删除,数据库模式创建和修改,以及数据访问控制。
二、SQL应用场景?
例如,当您的股东或者老板想要查看以下问题时,您可以用SQL来做出对应的产品呈现。
a、统计不同月份的下单人数
b、统计三月份的复购率和回购率
c、统计男女用户的消费频次是否有差异
d、统计多次消费的用户,第一次和最后一次的消费间隔是多久
e、统计不同年龄段,用户的消费金额是否有差异
有的同学说这些EXCEL也可以做呀,对是可以,但是现在市场的数据量EXCEL是负载不了的,EXCEL也容易崩溃。另外SQL也可以在更大量级的数据库和数据仓库间进行查询和数据分析。有的同学说产品经理不需要懂数据仓库,更不需要懂SQL,在笔者LineLian的实战工作中,市场上以做出自己公司的数据仓库产品,做出自己公司的数据分析产品为产品本体的需求在持续爆发增长,所以作为市场需求旺盛的10大基础技能之一产品经理应该懂SQL。
三、怎么学SQL?
一方面:学SQL的基础理论方面
1.了解建立数据库的意义,为什么不能用excel而需要用数据库?以及有哪些方面的应用?
2.数据库系统在整个网站中处于一个什么位置?在数据后台如何调用数据库的数据?
3.数据库的应用范围?什么时候才不得不使用数据库?什么时候数据库也不灵了?
(一般10万条及以上数据用数据库,千万级条数据是一般数据库的极限)
4.表与表之间存在着怎样的逻辑?理解实体、关系、主键、外键。
另外一方面:学SQL的基础操作方面
1.学会操作一些基本的select的操作:
操作例如:将下表中列出所有建筑物以及每个建筑物(包括空建筑物)中不同的员工角色
表如下图所示:
![05c93253da5ecfc65a11f841bba66640.png](https://i-blog.csdnimg.cn/blog_migrate/113c75a107e3af51ebeafb9bd76f83f9.jpeg)
SELECT distinct role ,Building_name
FROM Buildings
LEFT JOIN Employees
ON Buildings.building_name=employees.building
另外关于SELECT或者相关语句更多的练习可以给笔者LineLian微信联系,微信号firstbodytm
2.了解索引,知道如何建立索引,应用索引:
例如创建索引的标准语法:
CREATE INDEX 索引名 ON 表名 (列名)
3.了解数据类型,知道如何给各个数据建立对应的模型:
一方面了解例如数据类型:
数据有结构化的数据类型,常见于存在我们数据表中的数据;也有半结构化的数据类型,例如我们百度查询某个页面结果展示的多是半结构化数据;也有非结构化数据像图片、声音、视频等等数据类型。
另外一方面例如产品经理需要会如下的数据建模全流程:
![fda85ed20aa355ea709f74a2cbed6de7.png](https://i-blog.csdnimg.cn/blog_migrate/7633dda4c18d874a0682eab0565c2372.jpeg)
数据建模分析线路一:
准备数据是从数据埋点、数据采集、数据清洗开始,然后对数据进行直观的描述分析和洞察,再然后给出数据展现,最后撰写数据分析报告。
例如:下表是某些学生的语文、数学、外语、科学成绩统计表:
![cd12f3229dd46b8d881d794cb0740275.png](https://i-blog.csdnimg.cn/blog_migrate/c2bc584b704ec048fac623a0c6a7558c.jpeg)
首先,假设这些科目成绩不相关,也就是说某一科目考多少分与其他科目没有关系。那么一眼就能洞察出来,数学、外语、科学这三门课的成绩构成了这组数据的主成分(很显然,数学作为第一主成分,因为数学成绩拉的最开)。为什么一眼能看出来?因为坐标轴选对了!
但是当数据量足够大的时候,通过洞察就不是这么容易看出来数据的特征了。
数据建模分析线路二:例如下面闲鱼APP分析用户行为的例子
用数据建模的方法分析用户行为流程图如下:
![b72285c1ab10797d26a049a9e27954bd.png](https://i-blog.csdnimg.cn/blog_migrate/b181531d7b4776717563b444393544ed.jpeg)
首先分析用户行为,分析业务需求:
一般将用户行为定义为:由一系列的行为事件所串联成的序列。这个定义在不同的“粒度”上有不同的解释,比如粗粒度上来看,“搜索商品”->"聊天“->“下单”为一个用户行为,其中“搜索商品”是一个行为事件。
但是从细粒度上来看,“搜索商品”包含了多个更小的事件,比如“点击搜索框->输入文本->点击搜索按钮->查看搜索结果”等,从细粒度上这几个事件同样可以定义为行为事件,此时“搜索商品”就变成了一个用户行为。
因此,分析用户行为需求,要先看从哪个维度上进行分析。
在本案例中将行为事件定义为“页面跳转”和“按钮点击”两类事件,而用户行为则是“多个行为事件”根据时间顺序串联起来的序列。
对应到数据形式上,每一个“页面跳转”都对应一个埋点,每一个“按钮点击”也都对应一个埋点,
因此,用户行为数据建模分析,实际上也就变成了:埋点序列数据建模分析。
埋点序列数据建模图如下:
![cf2775888346fb985722fc3de128f902.png](https://i-blog.csdnimg.cn/blog_migrate/56a9e437e2f9addce50a37860deefea8.jpeg)
从上图中可见先通过聚类算法例如K-mean对埋点的人群进行分类,得到不同的人群,然后再对不同人群运用序列挖掘模型挖掘得到不同的行为,最后得出异常或者正常的行为判断结果。
假如用数据建模来发现未知黑产人群,用上述方法,对闲鱼的用户埋点进行分析,发现聚类出的人群里,有一类人群的行为序列是:
“商品搜索结果页->打开某个商品->点击聊天->发送文件->返回商品搜索结果页->打开某个商品->点击聊天->发送文件”
洞察查看这群人发送的文件发现,全部都是广告视频,也就是说,这些都是黑产账号,不断的在发送广告视频给别的用户,而这些黑产行为,是我们原先“未知”的(不需要提前知道这种行为的存在)。
说明一下传统的黑产模型用的是AHP层次分析法模型为主,即通过漏洞补上和行业专家打分的方法来实现风控和安全。
通过数据建模这种方式相比原来的AHP专家打分“补漏”型黑产防控有以下优势:
没有经验预设,可以快速从数据中发现新型的黑产行为模式,而不必等到大面积用户反馈以后做补漏。
数据建模算法抽象出来的行为模式相比人工“总结”会更加准确。(原来的防控大多数是根据用户反馈,然后人工观察这些人的行为,并用规则去识别匹配这些行为)
关于传统的AHP层次分析法做风控,笔者LineLian以后再详细撰写,或者也可以看笔者的书籍《AI赋能-AI重新定义产品经理》。
当然,数据建模这样的数据还需要进一步挖掘才能得到实际可利用的信息,针对不同业务和问题,也有不同的利用方式,这里也还只是一个案例思路,希望能从这个新的数据视角挖掘到对产品业务有用的信息。
小结一下:
在红利辈出的年代,选择做什么选择学什么比擅长做什么更重要!
在市场运营上大家比较期待用户增长,客户爆发;
在技术上Python、React(web)、Angular、机器学习以及Docker将也已成为市场需求最为旺盛的需求。
在产品经理岗位上一方面要盯紧市场运营的业务需求,迭代产品配合实现用户增长,另外一方面要紧盯技术发展,毕竟科学技术是第一生产力,所以产品经理不能仅仅是画原型的经理,而要持续学习,在数据中台产品,数据平台产品,数据智能产品,纯AI产品持续井喷的年代。
悲观者往往正确,乐观者常常成功!
最后笔者建议在AI时代,产品技术运营的第一要务就是为未来的全新工作方式做好准备。未来已来,未来需要数据驱动增长,未来需要数据智能化,未来需要产品经理具有的技能,让我们持续一起读懂。