大数据基础之大数据的概述 -01

一、大数据的概述

  1. 概念:
    海量数据,具有高增长率、数据类型多样化,而且一定时间内无法使用常规软件工具 进行捕捉、管理和处理的数据集合。

  2. 特征:
    Volume(容量):巨大的数据量
    Variety(多样化):数据类型多样化
    Velocity(高速):数据增长速度快
    Value:(价值):价值密度低

  3. 应用场景:
    (1)能做什么?
    在大量的各种各样类型的价值密度低的数据中,需要进行数据采集、数据存储、数据清洗、数据分析、数据可视化。这个过程就是大数据的主要事情。那么可以概括为记录已经发生的一切、描述正在发生的一切、预测将要发生的一切。
    (2)应用案例
    行业前景分析
    流感、疾病的分析
    手机定位的交通信息
    监控视频等

  4. 发展前景
    从大数据的自身发展和行业发展的前景来看,大数据的前景是很不错的,主要原因如下:
    大数据产业链的形成
    国家、政府的支持

  5. 工作流程:
    确定需要采集的数据源、经过一系列操作进行数据的采集、确定采集得到的数据存储的形式和位置、对采集得到的数据进行清洗(筛选)、对清洗之后的数据进行分析、分析之后再存储、最后再利用可视化工具进行展示。

  6. 数据部门的组织架构
    在这里插入图片描述

  7. 相关概念及联系、区别

    云计算:虚拟技术为核心,进行统一管理硬件设施,平台,软件等;它通过网络提供了可伸缩的、廉价的分布式计算 能力;它用出租的方式提供给用户,用户只要花低价,在具备网络接入条件的地方,就可以随时随地获得所需的各种IT 资源;类似于国家统一管理水,电,煤气等等。

    物联网:是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、 人员和物等通过新的方式连在一起,形成人与物、物与物相连,实现信息化和远程管理控制。

    大数据、云计算与物联网的区别:大数据侧重于对海量数据的存储、处理与分析,从海量数据中发现价值,服务于生产和生活; - 云计算本质上旨在整合和优化各种IT资源并通过网络以服务的方式,廉价地提供给用户; - 物联网的发展目标是实现物物相连,应用创新是物联网发展的核心。

    大数据、云计算与物联网的联系:这三者是相辅相成的。物联网的传感器源源不断产生的大量数据,构成了大数据的重要数据来源,没有物联网的飞速发展,就不会带来 数据产生方式的变革,即由人工产生阶段转向自动产生阶段,大数据时代也不会这么快就到来。同时,物联网需 要借助于云计算和大数据技术,实现物联网大数据的存储、分析和处理。

    注:图片来源网络,如有侵权可联系作者删除。

一、Scala核心编程课程简介 近年来随着大数据的兴起,大数据核心框架Spark和Kafka也受到到广泛关注, Spark底层是Scala实现的, 因此也带火了Scala语言,目前Scala被全球知名公司(如:谷歌、百度、阿里、Twitter、京东等)广泛用于Spark开发。新一代的物联网时代到来,会对大数据应用人才的需求越加紧迫。 尚硅谷网罗和整合了学员很喜爱的师资,打造出专注于Spark开发的Scala课程,我们讲解Scala核心编程技术,同时也讲解编程思想、设计模式和Scala底层实现,让您有豁然开朗的感受。 二、课程内容和目标 本课程重点讲解Scala核心编程,内容包括: Scala语言概述、运算符、程序流程控制、数据结构之集合、Map映射、过滤、化简、折叠、扫描、拉链、视图、并行集合、高阶函数、函数柯里化、偏函数、参数推断、控制抽象、Trait、面向对象编程、异常处理、惰性函数、Akka及Actor模型、Spark Master和Worker通讯、隐式转换、隐式参数、工厂模式、单例模式、观察者模式、装饰者模式、代理模式、泛型、上下界、视图界定、上下文界定、协变逆变不变和源码剖析。通过系统全面的学习,学员能掌握Scala编程思想和Scala底层机制,为进一步学习Spark打下坚实基础。 三、谁适合学 1.希望以较低的投入和风险,来了解自己是否适合转型从事Spark开发的求职人员。 2.有一定的Java基础,或者自学过一些Java书籍与视频资料,想系统掌握Scala语言的程序员。
©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页