大数据技术基础综述

原创

于 2024-08-12 16:24:31 发布 · 1.5k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#大数据

摘要

大数据时代的来临，带来了信息技术发展的巨大变革，在金融、汽车、零售、餐饮、电信、能源、医疗等社会各行各业都有大数据的身影。大数据技术深刻影响着社会生产和人民生活。世界主要国家高度重视大数据发展，我国也将发展大数据作为国家战略。当谈及大数据时，往往并非仅指数据本身，而是数据和大数据技术二者的综合。大数据的特点可以从四个方面概括为数据量大、数据种类繁多、处理速度快、价值密度低。而如何对大数据进行采集、存储、管理、分析、计算以及可视化的大数据技术也随着数据量的逐渐庞大应运而生。了解大数据就离不开对大数据技术的了解，顺应大数据时代发展就必须掌握好大数据技术。只有打好大数据技术的基础，才能在大数据时代的浪潮中迸发出更多的活力，勇立潮头。

关键词

大数据时代；大数据技术；国家战略；数据处理

Abstract

The advent of the era of big data has brought great changes in the development of information technology, and big data is found in all walks of life such as finance, automobiles, retail, catering, telecommunications, energy, and medical care. Big data technology has a profound impact on social production and people's lives. Major countries in the world attach great importance to the development of big data, and China will also develop big data as a national strategy. When talking about big data, it is often not just the data itself, but the combination of the data and the big data technology. The characteristics of big data can be summarized from four aspects: large amount of data, a wide variety of data, fast processing speed, and low value density. And how to collect, store, manage, analyze, calculate and visualize big data technology also comes into being with the gradual huge amount of data. Understanding big data is inseparable from understanding big data technology, and adapting to the development of big data era must master big data technology. Only by laying a good foundation for big data technology can we burst out more vitality in the wave of the big data era and bravely stand at the head of the tide.

Keywords

The era of big data; Big data technology; National strategy; Data processing

0 引言

迈入二十一世纪，在云计算、大数据、物联网的快速发展下，拉开了第三次信息化浪潮的帷幕。随着网络技术与科学技术的不断发展，人类迅速进入了“信息爆炸”的时代，全球的信息量、数据量日益增大。同时，由于互联网的普及其用途的多样化，各种设备、机构、企业、用户都在无时无刻的产生着大量数据。而这些数据又为了适应不同的用途，有着不同的结构和类型等。数据产生的速度与方式的变革促进了大数据时代的到来。从上世纪90年代，数据挖掘理论和数据库技术的逐步成熟开始，大数据技术便开始进入萌芽，并随着Web2.0应用的迅猛发展，非结构化数据的大量产生，传统的处理方式已经不再使用，带动了大数据技术的快速突破，使大数据技术在不断的研究与应用中趋于成熟。而进入二十一世纪开始，大数据在大量数据的分析与处理方面的优越表现开始大规模应用于各行各业。世界主要国家高度重视大数据发展，我国也将发展大数据作为国家战略。2016年3月，《中华人民共和国国民经济和社会发展第十三个五年规划纲要》正式提出“实施国家大数据战略”。

学习大数据技术，首先要了解大数据的基本处理流程，包括数据的采集、存储、分析、和结果呈现等环节。数据无处不在，互联网网站、零售系统、办公系统、监控摄像头、传感器等，每时每刻都在产生数据。对于这些分散的数据需要采用相应的设备或软件进行采集。而采集到的数据并不是可以直接使用，需要对这些来自不同设备，不同系统的数据进行数据预处理，把数据处理为一个可用的状态。处理后的数据便可以进行存储、分析、计算和结果呈现。对于数据的采集与数据的预处理是很庞大的工作，需要对不同的数据进行分析，借助数据清洗、数据去重等方法处理后得到可用的数据，这一工作涉及的内容过多，因而在本文不进行介绍。本文主要对大数据技术中的其他技术如存储。管理、分析等技术进行介绍。