大数据学习1——大数据概述

一、三次信息化浪潮的标志       

        第一次:PC

        第二次:互联网       

        第三次:大数据、云计算、物联网


二、大数据关键技术

       大数据特点:4V,数据量大(Volume)、数据类型多(Variety)、处理速度快(Velocity)、价值密度低(Value)。

       大数据的关键技术包括:数据采集、 数据存储和管理、 数据的分析和处理、数据的隐私和安全。其中,分布式存储和分布式处理是大数据技术的核心

       大数据计算模式:批处理计算(大规模数据的批量处理,如mapReduce, Spark)、流计算(流数据的实时计算,如Storm、S4、Streams、Puma、DStream等)、图计算       (大规模图结构数据的处理,如 Pregel、Graphx、Giraph、Hama等)、查询分析计算(大规模数据的存储管理和查询分析 ,如Dreml、Hive、 Cassandra等)


三、大数据、云计算和物联网的关系

        云计算,通过网络以服务的方式提供可伸缩、廉价的分布式计算能力。解决海量放分布式存储和分布式处理,虚拟化和多租户。

        云分为公有云、私有云和混合云,底层是基础设施即服务IaaS,主要是提供底层的基础设施,企业不需要搭建硬件服务;中间层是平台即服务PaaS,就是一个云平台开发环境,企业个人可以在上面开发自己的云产品。最上层是软件即服务SaaS,提供软件层面的服务。

        云计算的关键技术:虚拟化、分布式存储、分布式计算、多租户等。而云计算数据中心则是云计算的载体,为云计算提供计算、存储、宽带连接、监控等,也为各种平台和应用提供运行支撑环境。

        物联网:主要是交互感知。

        三者之间的关系:大数据技术继承自云计算,现在大数据包含两方面的意思:一是数据量非常大,二是对数据的处理技术。反过来,也正是大数据时代的到来,才不断促进了云计算及时的发展。而物联网则是数据的源头,不断产生大量的数据。


四、云计算的三个层次


       IaaS(Infrastructure as a service,基础设施即服务):提供最基本的设施服务,如计算资源和存储等;

       PaaS(Platform as a service,平台即服务):提供最基本的服务,还包括操作系统和软件运行所需的特定环境;

       Saas(Software as a service,软件即服务):提供一个云端的服务软件;

      

      

 
  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在《大数据导论》书中的1.5节案例学习中,主要介绍了几个实际应用场景,以阐述大数据技术的应用价值和实际效果。 第一个案例是关于电商平台的用户行为分析。通过对用户在电商平台上的行为数据进行收集和分析,可以针对用户的购买行为、浏览行为、搜索行为等方面进行精准营销和推荐,提高销售效率和用户满意度。这个案例中使用了大数据技术中的Hadoop、Hive、Spark等工具进行数据处理和分析。 第二个案例是关于城市交通管理的智能化优化。通过对城市交通中的车辆、路网、人流等数据进行收集和分析,可以实现交通信号灯控制、路网优化、交通事故预警等功能,提高城市交通的效率和安全性。这个案例中使用了大数据技术中的GIS、机器学习、模拟仿真等技术进行数据处理和分析。 第三个案例是关于医疗健康的数据分析应用。通过对医疗健康领域的数据进行收集和分析,可以实现病例诊断、风险预测、药物研发等功能,提高医疗健康服务的质量和效率。这个案例中使用了大数据技术中的数据挖掘、人工智能、云计算等技术进行数据处理和分析。 这些案例都体现了大数据技术在不同领域中的应用价值和实际效果,同时也展示了大数据技术的多样性和灵活性。通过这些案例的学习,读者可以更好地了解大数据技术的应用场景和实际应用效果,进一步掌握和运用相关的技术和工具。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值