大数据技术概述

已于 2024-08-30 16:19:15 修改
阅读量2.1k 收藏
点赞数 1
分类专栏： Other 文章标签： 安全 运维 服务器 大数据
于 2024-08-28 21:56:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51591328/article/details/141650992
版权

4v特点

volume（体量大）
velocity（处理速度快）
variety（数据类型多）
value（价值密度低）

核心设计理念

并行化
规模经济
虚拟化
分布式系统满足需求

在这里插入图片描述

系统架构

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据处理流程

采集数据

在这里插入图片描述
结构化数据：可用二维表表示
非结构化数据：声音、图像、视频
半结构化数据：xml文档

  • 爬虫采集数据
    scrapy
    在这里插入图片描述

在这里插入图片描述

  • 感知设备数据采集
    在这里插入图片描述
    在这里插入图片描述
  • 分布式数据采集系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 系统架构
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 定向数据采集
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

  • 采集算法类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 网络数据采集

在这里插入图片描述
模型层：从数据库中获取相关的数据
控制层：负责处理用户的请求
视图层：负责把数据显示在页面上

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

处理数据

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 数据清洗
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
整个数据集来看是离群点；
从邻域来看是离群点；

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

  • 数据集成
    在这里插入图片描述

在这里插入图片描述

  • 数据转换
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 数据归约

在这里插入图片描述

在这里插入图片描述

  • 数据处理任务
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

大数据相关技术

在这里插入图片描述
2、分布式处理技术

在这里插入图片描述

大数据处理方法

在这里插入图片描述

  • 分类步骤

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 聚类步骤
    在这里插入图片描述

在这里插入图片描述

  • 关联分析任务
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

OLAP(联机分析处理)
在这里插入图片描述

在这里插入图片描述

大数据计算框架

在这里插入图片描述
在这里插入图片描述

批处理系统

在这里插入图片描述
在这里插入图片描述

MapReduce处理过程

在这里插入图片描述
在这里插入图片描述

流处理系统

在这里插入图片描述
在这里插入图片描述

流处理模式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

混合处理系统

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

大数据应用框架

在这里插入图片描述

  • 通用大数据应用架构
    在这里插入图片描述
  • 混搭大数据应用架构

在这里插入图片描述

在这里插入图片描述

大数据框架技术

在这里插入图片描述
在这里插入图片描述

  • 日志收集器fluentd
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

数据挖掘技术

在这里插入图片描述

  • 学习类型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

柒拾柒_L
关注
专栏目录
大数据技术概述与入门
weixin_46694782的博客
06-07 1623
大数据技术在金融中的应用，包括批处理与流处理、技术图谱、数据获取原理（数据采集、数据传输、数据预处理）、数据存储与计算原理（存储硬件、存储管理、分布式计算）、数据分析（描述性分析、预测性分析、规则性分析等）、信息安全（数据加密、身份认证）、大数据特征（5V）。此外还介绍了大数据技术发展趋势。.....................
第二章 大数据技术概述
weixin_64201202的博客
01-10 3926
2.1 大数据技术的产生 大数据的基本概念 1、什么是大数据？大数据（Big data或Megadata）：大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。大数据新手学习交流群，如果有想学习大数据或者交流经验的都可以加入，一起互相学习交流：→→→点击我即可加入圈子2、大数据特点①Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（
大数据入门-大数据技术概述(一)
热门推荐
水坚石青的博客
08-01 1万+
一、简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。 Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中 Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce Hadoop被公认为行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力 几乎所有主流厂商都围绕Hadoop提供开发工具、开源软件、商业化工具
大数据入门-大数据技术概述(二)
水坚石青的博客
08-04 1768
大数据入门系列文章 你知道什么是大数据吗，请走传送门。 1.大数据入门-大数据是什么 1.大数据入门-大数据是什么 2.大数据入门-大数据技术概述(一) 2.大数据入门-大数据技术概述(一) 一、简介 本次介绍的是调度资源组件， ...
第二章大数据技术概述
L2944426458L的博客
01-07 2573
【大数据技术概述】Hadoop、Spark等大数据技术介绍
weixin_39372311的博客
07-18 927
大数据指的是无法用传统数据库工具进行采集、管理和处理的海量数据集。大数据技术通过分布式存储和计算，能够高效地处理和分析这些数据，提取有价值的信息。常见的大数据技术包括Hadoop、Spark、Flink、Hive等。Hadoop是一个开源的分布式计算框架，由Apache基金会维护。Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce编程模型，提供了可靠的分布式存储和计算能力。
大数据技术概述_1.大数据的定义
huaqianzkh的专栏
05-05 1193
Granter公司关注大数据的三个量化指标：数据量、数据种类和处理速度。Granter认为传统的存储技术难以应付大数据处理，主要存在以下三大挑战。挑战一：不断增长的数据量。在大数据背景下，数据这一宝贵财富通常是不能删除的，因此数据将不断积累增长，增长速度经常超出人们预计。信息中心需要管理TB级甚至PB级数据。要为这些数据提供存储、保护和使用的方案，信息系统需要不断地作相应升级或重构，需要投入大量人力物力。挑战二：多格式数据。海量数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。
大数据技术概述（一）
weixin_40814520的博客
06-02 281
大数据技术指的是处理大数据所需要用到的一些技术
大数据技术概述_3.大数据的研究内容
huaqianzkh的专栏
05-05 521
为了应对大数据的研究工作面临的5个方面的挑战，白皮书建议采用现有成熟技术解决大数据带来的挑战，并给出了大数据分析的分析步骤，大致分为数据获取/记录、信息抽取/清洗/注记、数据集成/聚集/表现、数据分析/建模和数据解释5个主要阶段。在每个阶段都面临着各自的研究问题。
大数据技术概述任务书A卷.doc
06-10
【大数据技术概述】任务书A卷主要探讨了大数据技术中的MapReduce编程模型，这是一种用于大规模数据集并行运算的方法。MapReduce的核心理念是"映射（Map）"和"归约（Reduce）"两个阶段，使得程序员无需深入理解分布式...
01 大数据技术概述.pptx
10-03
大数据概述，恰同学少年，风华正茂，挥斥方遒
华为大数据认证：大数据技术概述.pptx
09-24
华为大数据认证：大数据技术概述 大数据技术概述是华为大数据认证的重要组成部分，本节课程主要介绍了大数据的基本概念、特征、技术支撑和应用场景等内容。 大数据的定义可以从不同的角度解释。在不同的行业和领域...
大数据技术概述.pptx
01-05
"大数据技术概述" 大数据技术概述是指一种处理和分析大量结构化、半结构化和非结构化数据的技术。这些数据来自于各种来源，如社交媒体、传感器、智能设备等，数量巨大，类型繁多，且具有高速生成和高速处理的特点。...
第1章大数据技术教程-大数据技术概述.docx
10-20
【大数据技术概述】 大数据，作为近年来信息技术领域的重要概念，源于互联网技术的快速发展，特别是社交网络、物联网、云计算和雾计算的崛起。随着各种传感器的普及，非结构化数据以指数级速度增长，传统数据处理...
PHP常用的安全函数作用
最新发布
sheji888的专栏
11-06 332
这些函数和方法有助于提升PHP应用的安全性，但安全是一个综合性的问题，需要综合使用多种手段，如输入验证、输出编码、会话管理、错误处理等。在PHP开发中，安全是非常重要的一个方面。
挂钩图像分割安全状态与危险状态识别系统：更新创新流程
lzmlzm89的博客
11-02 991
数据集信息展示在本研究中，我们使用了名为“test1”的数据集，以支持改进YOLOv8-seg的挂钩图像分割安全状态与危险状态识别系统的训练与验证。该数据集专门设计用于处理与安全相关的图像分类任务，旨在提高系统对不同安全状态的识别能力，从而为实际应用提供更为精准的安全监测解决方案。“test1”数据集包含三种主要类别，分别为“安全状态”、“危险状态_1”和“危险状态_2”。这些类别的选择反映了在实际应用中可能遇到的多样化安全场景，能够有效地模拟和识别不同的安全与危险状态。
【鉴权】OAuth 2.0: 高度灵活与安全的身份认证框架
人生苦短，睡觉要紧，睡醒再说
11-05 434
OAuth 2.0不仅允许第三方应用在不访问用户密码的前提下安全地访问用户在其他平台上的资源（如社交媒体账户或云存储），还通过灵活的授权模式满足了不同应用场景的需求。无论是Web应用、移动端应用还是桌面客户端，OAuth 2.0都为开发者提供了一个高效、可靠的解决方案。在本篇文章中，我们将深入分析OAuth 2.0的核心概念、授权流程、常见授权模式以及其在实际开发中的应用，帮助开发者全面理解这一授权机制的优势与实现方法。
网络安全渗透实际案例
专研计算机网络，数据通信，网络安全，系统集成
11-02 1336
该案例演示了如何通过信息收集、漏洞扫描、漏洞利用和后渗透测试等步骤，对目标系统进行完整的渗透测试。通过详细的操作步骤和修复建议，可以帮助安全人员更好地防御类似攻击。注意：渗透测试应仅限于合法授权的网络或系统。未经授权的渗透测试属于非法行为。步骤编号步骤名称操作说明代码示例1环境准备确保Kali Linux及相关工具已安装，如NmapMetasploitNetcat等。无2信息收集使用Nmap扫描目标系统，识别开放端口和服务版本。3确定服务漏洞。
HDFS设计特点与大数据技术概述
大数据技术包括像Hadoop这样的框架，它提供了处理大规模非结构化数据的能力。Hadoop包括多个模块，如Hadoop Common，提供基础支持；HDFS，用于分布式存储；以及MapReduce，用于分布式计算。此外，MongoDB是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值