大数据分析现有技术与问题

原创 2013年12月02日 14:48:31
1、数据仓库方法DW:

    -数据移动过程(ETL)浪费资源、性能;

    -随着数据载入,应用越来越小,受制于数据源

2、数据云:

    -大量数据输入,类型是堆,结构混乱,不可用;

    -按来源,最近原则分发、使用;

    -应用上,异构数据来了后,不知道放到哪里去;

3、Big data:

    -内容无限(海量的数据和海量的流量);

    -无边(边界不清、类别模糊);

4、传统的聚类方法

    -怎么找到数据;类在什么?分界线在哪里?

    -从DB上:ETL技术,分类,并行DB+ETL(OLAP)

    -Google:云(Mapreduce)-SQL方式+存储太慢+读写对硬件要求高+PB级以上时性能与需求矛盾大

    -并行DB+Mapreduce:综合数据生成、排序等;

      1)横向规模扩展-节点无限增加,查询性能下降

      2)纵向关系:异构数据(医疗、交通……),可用性?

5、架构型大数据?

   -如果说大数据是有一个架构的,那么如何在架构上发现数据的分类条件(聚类)、边界、最小集、可用与不可用、弱关系与强关系?


相关文章推荐

大数据分析的分布式MOLAP技术

  • 2015年05月28日 13:54
  • 1.03MB
  • 下载

大数据分析工具盘点-你不知道的15个新技术

大数据中的大作为,最近几周业内都忙碌着,很多初创公司和一些老牌的公司都推出了数据分析和数据管理产品,以及更新了现有产品,提供更丰富的功能与性能。   虽然这些技术都还只是蓝图规划,但是一些常见的主题...

大数据分析技术生态圈一览

大数据分析技术生态圈一览 人人都说大数据,但很多人对这个领域并非真正地了解。为了帮助你,我们决定制作这份厂商图标和目录。它并不是全面列出了这个领域的每家厂商,而是深入探讨大数据分析技术领域。我们...

基于大数据分析的安全管理平台技术研究及应用

源自:http://www.aboutyun.com/thread-13793-1-1.html 问题描述: 1.什么是大数据? 2.大数据的基本特征是什么? 3大数据安全分析技术的安全管理平...

大数据分析所需要的十大技术

大数据分析所需要的十大计算 1:
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:大数据分析现有技术与问题
举报原因:
原因补充:

(最多只允许输入30个字)