第十二章 电商大数据分析技术

第十二章 电商大数据分析技术

一、电商大数据分析需求与方法概述
现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合 VaR(value at risk) 或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种 IOT 场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。抽象来看，支撑这些场景需求的分析系统，面临大致相同的技术挑战：
1、业务分析的数据范围横跨实时数据和历史数据，既需要低延迟的实时数据分析，也需要对 PB 级的历史数据进行探索性的数据分析；
2、可靠性和可扩展性问题，用户可能会存储海量的历史数据，同时数据规模有持续增长的趋势，需要引入分布式存储系统来满足可靠性和可扩展性需求，同时保证成本可控；
3、技术栈深，需要组合流式组件、存储系统、计算组件和；
4、可运维性要求高，复杂的大数据架构难以维护和管控。
二、大数据处理对电子商务的作用：
（一）大数据处理使电子商务的运营方式数据化
在大数据的影响下，电子商务领域很大程度上改变了传统的运营模式，现今更多哦地以数据方式为主导，贯穿于企业运营中的采购、营销以及财务等过程。大数据处理使电商企业数据化运营，使企业能够通过数据分析出顾客的需求，并以此对日后的经营提前做预测，从而使成本最小化、利润最大化。例如，亚马逊企业的分别为FDFC和FC的两种数据化运营模式，前者主要用于预测热销商品，而后者则用于小众商品的分析。
（二）大数据处理使行业应用得以垂直整合<