品高公开课 | 云和大数据时代的数据管理

小编的话

“技术干货”系列文章意在分享技术牛人的知识干货，每期主题都不一样哟！期待各位读者在文后发表留言，来一场技术上的交流和思想上的碰撞！本期将由品高大数据平台产品经理李伟文带来“云和大数据时代的数据管理”的分享。

分享嘉宾

李伟文，目前就任品高大数据平台——BingoInsightDIG平台的产品经理，专注于大数据和数据分析领域，拥有多个数据分析领域项目经验，14年开始转向数据平台方向的研究，主要负责产品规划、设计和售前支持。

分享正文

大家好，非常荣幸能和大家一起学习和交流，品高有将近10年数据分析领域的实施经验，数据分析产品化是必然结果，所以今天主要跟大家分享一下本人对企业构建大数据平台的一些观点和品高大数据平台BingoInsight的产品设计理念，欢迎大家和我碰撞和切磋。

Hadoop和Spark只是框架并非产品，

Hadoop离企业大数据的期望还有一段距离。

企业使用Hadoop构建平台会面临诸多问题，技术体系庞大选型复杂、开源无服务支撑、集群部署复杂等，Hadoop只解决了数据存储和计算问题，企业还需考虑数据采集、数据处理、数据建模、数据运维、数据开放、数据可视化等一系列的问题；好复杂，感觉不会再爱了。

因此，我们品高大数据平台BingoInsight（以下简称BingoInsight）的定位就是一站式大数据解决方案，帮助企业快速交付数据价值。以下给大家介绍一下BingoInsight的产品特性和设计理念；

第一，存储和计算集群环境：一键交付

企业可自助定义大数据平台存储架构技术及集群配置，Hadoop、Spark、Nosql、RDB数据库、数据库、全文检索等集群均可一键交付，节省了软件部署的诸多时间。

第二，数据采集：只需简单配置即可从多种数据源快速集成数据

可支持的数据源包括Oracle、DB2、Mysql、Sqlserver等主流RDB以及Nosql、MPP、文本、FTP、网页、Excel、Socket、Webservice，采集周期可以是分钟、小时、日、周、月，非常灵活。

第三，数据存储和计算：开放性设计，拥抱不同的存储计算技术，满足不同企业的需求

不限制企业是用hadoop，MPP、RDB作为存储计算，企业可按实际的数据量和应用场景灵活选择。以上BingoInsight支持调度；

第四，数据处理和开发：从场景出发，将常见的数据处理场景模板化，提升数据处理效率

数据进到数据平台后怎样进行处理呢？ 我们把企业数据处理的场景做了详细的梳理和抽象，包括报表数据处理、指标数据处理、文本分类、全文索引构建、数据挖掘、提数、数据探索等，我们将这些场景总结沉淀为一个个数据处理的模板库，用户做数据处理和开发时按需选取一个数据处理的模板，然后再通过设置数据处理的一些参数即可进行开发，相当于用户在做数据处理的时候不需要开发或者是少量的开发就可以处理数据。规则设置好之后BingoInsight会自动调度。

第五，数据开放和共享：打破部门壁垒和边界，统一开放数据

去年8月份国务院发布《促进大数据发展行动纲要》，对政府和企业明确提出数据共享和开放要求，BingoInsight通过数据共享开放平台为政府和企业各部门实现内部横向和垂直部门的数据交换和共享，并以数据服务总线将数据统一开放，保障数据访问的安全和效率，提供数据应用市场，统一管理、分发、检索数据应用

第六，数据分析和可视化：让数据尽快应用于生产

通过仪表盘、报表、自助分析、数据地图等分析工具快速连接业务部门和数据，一般情况下 ，业务部门无需再找IT部门提数，如工具无法满足需求，BingoInsight亦提供基于Html5的数据可视化开发框架，提供100多个数据可视化分析组件，快速定制数据应用。

好的，今天就聊这么多，大家如有疑问，欢迎在右下方留言，一起交流！

====================================分割线================================

本文转自d1net（转载）