大数据-技术探讨

思考：

大数据是什么？

大数据技术对企业能产生什么核心价值？

大数据技术属于前端还是后端？

一、大数据的背景

        随着数字化时代的到来，人们在日常生活中无时无刻都在产生大量的数据，数据可以理解为对人类行为及产生的事件的一种记录，例如金融市场变化记录、购物网站浏览记录、产品生产过程记录、疫情时代感染人数记录、交通拥堵记录等等。对于个体而言，这些记录没有太大的用处，但对企业而言，拥有海量的数据便可进行数据分析，挖掘出数据中潜在的商业价值。例如金融业者可提升商业决策准确性、电商平台可精准推送商品、制造业可实时了解产品生产效率、疫情时代可快速精准把握感染人数和涉及的区域、导航软件可提醒司机躲避拥堵等。

二、大数据概述

        大数据学科独立于前端、后端之外，目的是解决海量数据的存储，计算和传输这三个问题。大数据应用场景是从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。

狭义上：大数据就是使用分布式技术完成海量数据处理，得到数据背后的商业价值。

广义上：大数据使数字化时代、信息化时代的基础（技术）支持，以数据为生活赋能。

大数据的五V特点：

VOLUME：体积、数据量大

VARIETY：种类、来源多

VALUE：价值、低价值密度

VELOCITY：速度、增长数据快，处理速度块，获取速度快

VERACITY：质量、准确性

三、大数据技术的核心价值

        由大数据背景可知，大数据（Big Data）顾名思义就是在一定时间范围内无法用常规软件进行捕捉、管理及处理的海量数据集合，而大数据技术就是企业为了解决日益增长数据量而采取的应对之策。大数据技术通常是结合业务需求对海量的数据进行处理，因此大数据技术本身并不能创造核心价值，它能为企业挖掘出数据中潜在的商业价值、提升企业的决策能力以及提升数据处理效率。

        已购物网站为例，数据带来的商业价值应用最常见的就是用户画像，通过用户购买时间、商品浏览记录、下单地区等信息，可分析出用户的基本特征，按客户画像进行精准营销。

        曾看过一个亚马逊的物流项目案例，亚马逊在客户还没确认下单，商品就已经邮寄到了客户手上，进而促成了交易。依靠的就是对用户画像的分析，将客户需要的商品先发往客户附件的物流仓库，实现对客户的精准营销。

四、大数据技术的前端与后端之争

        这里有个知识误区，技术本身没有前后端之分，实际应用场景才能区分前后端。Python技术应用中，Scrapy框架可以写爬虫程序，从后台获取数据应该属于后端；而Django框架可以设计网页又应该属于前端的内容。

1、前端开发的概念

        前端统称为”客户端开发“，在应用程序或网站的屏幕上看到的所有内容，都是由浏览器解析、处理、渲染相关HTML、CSS、JAVA文件后呈现出来，都属于前端的工作范畴。

2、后端开发的概念

        在后端服务器和浏览器或应用程序之间存储网站、应用数据和中间媒介的服务器都在后端的工作范畴内。在应用程序或网站屏幕上看不到的东西基本上都是后端。

3、大数据技术的前端和后端岗位

前端：BI工程师

后端：大数据开发工程师、Hadoop开发工程师、Spark开发工程师、实时计算工程师、数据仓库工程师、ETL开发工程师、数据挖掘工程师、数据架构师等

五、大数据技术三要素

         在数据量巨大的基础下，各大企业以计算机数量解决问题方案使分布式处理技术应运而生，以分布式服务器集群协同工作解决大规模数据处理问题。通过各种技术栈实现大规模数据存储、大规模数据计算、大规模数据传输。

1、大规模数据存储技术栈

（1）Apache Hadoop - HDFS：使用最广泛的分布式存储技术

（2）Apache HBASE：NoSQL KV型数据库技术

（3）Apache KUDU

（4）阿里云OSS、Ucloud的US3、AWS的S3、金山云的KS3等

2、大规模数据计算技术栈

（1）Apache Hadoop - MapReduce：分布式计算引擎

（2）Apache Hive

（3）Apache Spark：分布式内存计算引擎

（4）Apache Flink：分布式内存计算引擎，特别在实时计算(流计算)领域特别强大，成本高

3、大规模数据传输技术栈

（1）Apache Sqoop：ETL工具，可以协助大数据提醒和关系型数据库之间进行数据传输

（2）Apache Flume：流式数据采集工具，可以从非常多的数据源中完成数据采集传输的任务

（3）Apache kafka：分布式消息系统，可以完成海量规模的数据传输工作

（4）Apache Pulsar：分布式消息系统