大数据学习总结（1）任务描述

 

 

1、问题描述

单纯的大数据平台无法满足行业用户需要，无法在同类产品中凸显竞争力。

需要抽取业务共性，帮助用户构建满足需要的业务。

发展方向：数据集成+分析展现

 

2、业务痛点 

痛点：对所有文本皆有实时查询需求
难点：传统SQL使用WHERE子句匹配LIKE关键词，在庞大的数据字段中搜索某些想要的字，需遍历所有数据页或者索引页，查询效率底，

         当出现千万级以上数据时，耗时较高，无法满足实时要求
方案：使用全文检索方案，分布式架构，即使PB级量级也可做到毫秒级查询

 

 

3、任务目标：

开发一个建模工具+框架，和 Elastic Search的数据模型对接，

抽取业务语义模型，支持用户基于业务语义模型进行业务建模和运行业务。

 

4、验证场景：

a、客户画像

b、关系查询

c、搜索任务

 

5、参考资料：

阿里云的客户画像：

https://help.aliyun.com/document_detail/47990.html?spm=5176.doc47988.6.542.ksYfBu