关闭

大数据分析现有技术与问题

标签: big data大数据hadoopmapreduce
599人阅读 评论(0) 收藏 举报
分类:
1、数据仓库方法DW:

    -数据移动过程(ETL)浪费资源、性能;

    -随着数据载入,应用越来越小,受制于数据源

2、数据云:

    -大量数据输入,类型是堆,结构混乱,不可用;

    -按来源,最近原则分发、使用;

    -应用上,异构数据来了后,不知道放到哪里去;

3、Big data:

    -内容无限(海量的数据和海量的流量);

    -无边(边界不清、类别模糊);

4、传统的聚类方法

    -怎么找到数据;类在什么?分界线在哪里?

    -从DB上:ETL技术,分类,并行DB+ETL(OLAP)

    -Google:云(Mapreduce)-SQL方式+存储太慢+读写对硬件要求高+PB级以上时性能与需求矛盾大

    -并行DB+Mapreduce:综合数据生成、排序等;

      1)横向规模扩展-节点无限增加,查询性能下降

      2)纵向关系:异构数据(医疗、交通……),可用性?

5、架构型大数据?

   -如果说大数据是有一个架构的,那么如何在架构上发现数据的分类条件(聚类)、边界、最小集、可用与不可用、弱关系与强关系?


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:16951次
    • 积分:330
    • 等级:
    • 排名:千里之外
    • 原创:17篇
    • 转载:3篇
    • 译文:0篇
    • 评论:1条
    文章存档
    最新评论