大数据导论学习笔记
文章平均质量分 87
SupAor
UP
展开
-
大数据导论(五:大数据分析)
分类就是通过学习得到一个目标函数,根据目标数据的不同特点按照分类模式将其划分为不同的类别,其作用是通过分类模型,将目标数据映射到某个特定的类别。**聚类**聚类分析是把一组数据按照差异性和相似性分为几个类别,使得属于同一类的数据之间相似性尽可能大,不同类之间的相似性尽可能小,跨类的数据关联性尽可能低。**回归分析**回归分析是确定两种或两种以上变量相互之间依赖性关系的一种统计分析方法,用以分析数据的内在规律,常用于数值预报、系统控制等问题。关联分析。...原创 2022-07-17 22:27:08 · 3215 阅读 · 0 评论 -
大数据导论(四:大数据的存储)
面对大数据的爆炸式增长,且具有大数据量、异构型、高时效性的需求时,数据的存储不仅仅有存储容量的压力,还给系统的存储性能、数据管理乃至大数据的应用方面带来了挑战。这些大量的数据结构复杂,种类繁多,如何对分布、多态、异构的大数据进行管理的问题已经不期而至,传统的数据存储方式面对大数据的猛烈增长已不能满足需求,需要开展分布式存储的研究。随着数据量的爆炸式增长,不断刺激着计算机技术的发展,如何利用大数据为人们生活所用,即是大数据的应用问题。大数据的应用在人类活动中所涉及的范围越来越大,与我们已经密不可分。数据转换是原创 2022-07-08 22:20:56 · 12198 阅读 · 0 评论 -
大数据导论(三:大数据的采集及预处理)
数据采集(DAQ)又称数据获取,通过RFID射频数据、传感器数据、社交网络数据、移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。大数据的采集通常采用多个数据库来接收终端数据,包括智能硬件端、多种传感器端、网页端、移动APP应用端等,并且可以使用数据库进行简单的处理工作。1.3.1 智能感知层包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。原创 2022-07-07 16:51:20 · 6820 阅读 · 0 评论 -
大数据导论(二:大数据的架构)
大数据和云计算密不可分,由于大数据处理和应用需求急剧增长,学术界和工业界不断推出新的或改进的计算模式和系统工具平台。云是网络、互联网的一种比喻说法,通常在图中往往用云来表示电信网,后来也用云来表示互联网和底层基础设施的抽象。云计算并不是对某一项独立技术的称呼,而是对实现云计算模式所需要的所有技术的总称。大数据架构是一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。数据类型包括原始类型、多元组、记录单元、代数数据类型、抽象数据类型、参考类型以及函数类型。大数据时代的数据类型:采用大数据方案解决问原创 2022-07-06 18:26:40 · 2154 阅读 · 0 评论 -
大数据导论(一)
大数据是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。云计算使得计算和存储的成本下降,有了更多的数据沉淀,从而使数据价值得以进一步发掘。分布式系统基础架构Hadoop使其运算速度越来越快,伴随着Spark、Storm等技术也应运而生。机器学习使得机器具有理解数据的能力,大数据带来的最大价值就是“智慧”,同时人工智能进一步提升了处理和理解数据的原创 2022-07-03 21:59:11 · 1021 阅读 · 0 评论