龙门石窟与洛邑古城的产品表达 总结上面的内容其实只有一句话，即：“我能简单直接的满足你，并且给你更多”。“简单直接”是够轻松，“能满足你”是接得住，“给你更多”则是能升华，这也给出了产品设计的三个层面，用通俗的语言做了表达。
市场分析：洞悉客户决策过程 消费决策是市场对企业满意度的最直接表达，也是企业洞察客户的最重要来源。以客户为中心的理念要求企业从用户的行为出发，体系化、细致化分析客户深层次的需求。决策表面上是一瞬间的动作，其背后的内容却极其复杂，让我们一起来探索决策背后的秘密～
经营的本质是价值交换 基于“市场价值”逻辑，企业是市场生态中的一个节点，即完整独立又相互联系，为应对市场中五种力量引发的快速变化，企业经营需要从整个市场生态中考虑方案，基于图4逻辑全盘考虑自身及环境，构建出全方位经营方案，即：对内“多角色步伐一致、以结果导向构建经营效果”，对外“全流程多渠道整合经营、协作网络健康畅通”……
数据报告重要的是业务看得懂 通过上面三个维度的构建，业务侧看得懂的指标平台便构建完成。对于规模化、持续化、标准化的东西需要通过平台和规范来协同约束，指标平台后续的工作重点便是构建指标规范、完善数据治理、平台角色分工等规范层面内容。
效果分析的关键是指标能算出来…… 在这篇文章中我们梳理了指标的加工流水线——指标库，并在流水线的基础上梳理指标的分类和加工过程。两条链路相互协同下，指标计算结果可以快速输出，同时输出指标的口径和属主，数据使用人员能够明明白白使用指标，随着指标库中指标的累积和使用规范的完善，企业中看数据的问题会逐渐减少，不过对于平台性能的压力需要做一些权衡……
数据驱动下的客群经营逻辑 是否夫妻，这一特征很多平台获取不到，为得到这一特征可以通过一些预测的方式，做一些概率层面的信息补充，客户每天晚上10:00到第二天早上6:00访问同一WIFI热点，同时有另外一个设备同时频繁接入当下WIFI，且两个设备访问内容存在明显男性和女性的差异，是否可以推断出这两个人是夫妻关系？当然这是一个概率推断逻辑，不乏有推导错误的情况，但是通过不断丰富这一逻辑，可以无限接近真相~
HiveSQL函数优化原理 更多内容，欢迎观众公众号：livandata1、group by的计算原理：代码为：SELECT uid, SUM(COUNT) FROM logs GROUP BY uid;可以看到，group by本身不是全局变量，任务会被分到各个map中进行分组，然后再在reduce中聚合。默认设置了hive.map.aggr=true，所以会在mapper端先group by一次，最后再把结果merge起来，为了减少reducer处理的数据量。注意看explain的mode是不一样的。ma.
基于Pyspark进行PCA主成分分析 了解更多内容，欢迎关注公众号：livandataPyspark是近段时间笔者接触到的比较高效的大数据处理工具，他的亮点是整理出了数据分析过程中两个最高频应用的工具：pandas的DataFrame包和sklearn包，能够方便的完成数据处理及模型构建两块内容，上一篇笔者整理了Pyspark的常规用法，本篇以一个案例的形式串联一下pyspark的内容：在小数据集中构建一个PCA模型是非常方便的，DataFrame构建完成后直接调用sklearn的PCA包即可，那么，在大数据集中是否也是这样方便呢？
深度学习与推荐系统（十五）——LS-PLM（MLR）模型 CTR预估的发展过程中，LR模型是比较常用的方法，因为其计算量小容易并行，工业上应用非常广泛，同时也引发了各位大佬基于LR模型的优化改进，这一改进通常有两个方向，一个是走融合路，即GBDT+LR样式，将LR模型与其他的模型算法结合，达到优势互补的效果；另一个就是因子分解，即FM系列探索，它们的主要思想就是构造交叉特征或者是二阶的特征来一起进行训练。除此之外也会有一些大佬给出一些新的思路，比如本文中介绍的LS-PLM模型（又叫MLR模型），这一模型是用传统的机器学习方法模仿了深度学习的结构，采用divid
推荐算法模型应用——策略运营沙盘与促活引擎 个人公众号：livandata前面聊了那么多推荐类的算法，具体在数据产品中该如何应用呢？是不是这些推荐逻辑只能应用在推荐系统中呢？我想未必的，用户兴趣在业务逻辑中几乎可以渗透到工作的方方面面，简单来讲：无论什么业务，但凡接触客户，就给他最喜欢的东西，是不是一个最好的策略？答案可能是未必，但是在大部分领域还是非常有价值的，笔者在这一文章中跟大家分享一下两个常见的应用方向：1）活动受欢迎程度、最佳人群/活动推荐：1.1）我们根据经验设计了一个闪闪发光的活动，是否真的符合当下公司的客群？1.2
增长黑客AB-Testing系统设计 个人公众号：livandataAB-test思路数据驱动概念兴起的同时，AB-test也同步出现在大家的视线中，各互联网大厂率先引进了AB-test系统，希望通过循环的测试，上线最符合公司客群的产品。这一理念一出引发行业内各个公司的效仿，各种宣导纷至而来，那么，什么是AB-test？什么样的公司能迅速构建出AB-test系统？我们今天来一起聊一下：什么是AB-test？携程的大佬们曾给出一个定义：AB试验可以简单的认为是传入一个实验号和用户分流ID到AB试验分流器，分流器吐出分流版本A、B
深度学习与推荐系统千字文——Attention机制 缘起注意力机制模仿了人类观察事物的过程，将其应用到深度学习中，人观察事物会分为两个过程：扫描全局，获取重点关注区域；对重点关注区域深化研究，并抑制其他无用信息。如上图，查看整个图形分两步：扫描重点文字，重点观看文字。注意力机制沿用了这一思路：先通过一个深度学习框架，实现扫描重点信息的功能，将重点信息存储在一个中间网络中，然后再通过另一个深度学习框架解读并深化中间网络中的信息。这其中，最普遍的框架为：Encoder-Decoder框架。注意力机制价值...
推荐系统与深度学习千字文——FFM模型原理 上一篇我们讲解了FM模型：推荐系统与深度学习（一）——FM模型原理从FM的公式我们可以看出： FM中每个特征所对应的向量是唯一的： Vi是Xi的向量化表达，多个特征相乘的时候，只需要将Vi相乘，这一模型的优势在于考虑高维特征组合的情况下最小化运算量，但是问题也是有的：这一模型没有考虑各个特征之间的关系，而不同特征之间的关系恰巧是不一样的。例如： Publisher与Advertisor可能是正相关/强相关，Publisher与Gend...
深度学习与推荐系统千字文——FM模型 前言简单的机器学习模型构建往往假设各个特征之间相互独立，并基于特征独立进行模型训练，例如：LR、SVM；但是实际场景中特征往往存在相互关联的，比如：女性更喜欢化妆品类广告，男性更喜欢球类装备广告：女性—化妆品，男性—球类设备两者之间的关联性较高。因此，关联特征需要考虑引入到模型建设中。关联特征在one-hot变化中是按照笛卡尔积的形式呈现的，容易引发高维灾难，比如性别和品类的关联特征如下：（男/球类）的向量为（女/球类，女/化妆品，男/球类，男/化妆品），on...
web爬虫学习（六）——CSS反爬加密彻底破解 笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。我的公众号为：livandata0 惯性嘚瑟刚开始搞爬虫的时候听到有人说爬虫是一场攻坚战，听的时候也没感觉到特别，但是经过了一段时间的练习之后，深以为然，每个网站不一样，每次爬取都是重新开始，所以，爬之...
关注
