大数据概论

于 2018-12-04 02:11:53 发布
阅读量1.3k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39429714/article/details/84782266
版权
本文深入探讨了大数据的核心组件HDFS，详细介绍了其数据采集、存储、建模分析和分析过程。讨论了HDFS的优点，如处理大规模非结构化数据的能力，以及其局限性，如不适用于低延迟访问。此外，文章还涵盖了HDFS的体系结构，包括NameNode、DataNode等组件，以及数据块、复制策略和故障恢复机制，强调了HDFS在大数据处理中的关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合
大数据 = “海量数据”+“复杂的数据类型”
如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”
在这里插入图片描述
Drill/Impala ：内存SQL引擎，Dremel开源实现
BigTop：Hadoop生态系统打包分发与测试
Lucence ：全文搜索引擎
Nutch：爬虫系统
Thrift：网络接口开发工具

数据采集

Flume(NG)
Sqoop
Scribe
Camus

数据存储

在这里插入图片描述
在这里插入图片描述

数据建模分析

机器学习：Spark MLlib
Mahout
图计算：Spark GraphX
Neo4j

数据分析

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

HDFS简介

优点

  • 处理超大文件
    能用来存储管理PB级的数据 1PB = 1024TB
  • 处理非结构化数据
  • 流式的访问数据
    一次写入、多次读取
  • 运行于廉价的商用机器集群上
    可运行在低廉的商用硬件集群上
    故障时能继续运行且不让用户察觉到明显的中断

局限性

  • 不适合处理低延迟数据访问
    HDFS是为了处理大型数据集分析任务的，主要是为了
最低0.47元/天 解锁文章
一文了解大数据概论
u010830473的博客
11-01 1151
1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。3）Secondary NameNode(2nn)：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
Hadoop系列001-大数据概论
云端笑猿的博客
12-01 1084
本人微信公众号，欢迎扫码关注！ 大数据概论 1、大数据概念 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byt...
大数据（1）---大数据全系技术概览
zhangbijun1230的专栏
05-21 1303
大数据全系技术概览什么是大数据？大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volu...
大数据技术概论_大数据技术之大数据概论.pdf
05-06
大数据技术概论主要探讨的是如何处理和利用海量、高速增长且多样化的信息资产。大数据的四个核心特点，即Volume（大量）、Velocity（高速）、Variety（多样）和Value（低价值密度），构成了大数据的基本框架。 1. ...
python大数据概论期末复习.docx
12-25
Python大数据概论期末复习 本文档汇总了 Python 大数据概论的重要知识点，涵盖分类问题、准确率、聚类问题、召回率、有监督学习、参数传递、数据预处理、标称属性、序数属性、离散属性、直方图、散点图、数据清洗、...
[详细完整版]大数据概论.docx
06-21
大数据，作为一种重要的现代信息技术，已经深深地影响了我们的生活和工作。这一概念最早由麦肯锡公司提出，标志着数据处理和分析进入了全新的阶段。大数据的核心特征是海量、高速、多样、低价值密度和真实性，它的...
大数据概述
猪逻辑公园
06-11 1045
大数据特性通过快速的数据流转Velocity、海量的数据规模Volume、多样的数据类型Variety，发现数据的价值Value分布式架构应用架构
大数据技术
qq_33160722的博客
02-19 624
一、大数据技术的发展的三个阶段 1.存起来-等待机遇        2009年开始BAT大力发展Hadoop技术，这个期间主要解决海量数据的存储与简单分析问题。        既然大数据有价值，那么就先将数据存起来。要发挥数据的价值，我们先要有数据。 n网站浏览点击行为日志存储 n简单的PV与UV统计，满足基本需求 n更注重存储能力、集群规模、扩展能力 2.用
大数据概论 csdn
最新发布
09-18
大数据概论是指对海量的、复杂的、高维度的数据进行收集、处理和分析的一门学科。随着信息技术的快速发展，大量的数据被产生和积累，想要从这些数据中获得有价值的信息和洞察力，就需要借助大数据概论的方法和技术。 大数据概论主要包括以下几个方面。首先是大数据的处理和存储技术，包括分布式存储系统、并行计算框架、分布式文件系统等。这些技术可以帮助我们有效地存储和处理大规模的数据。其次是数据挖掘和机器学习的方法，通过这些方法可以从大数据中发现隐藏的模式和规律，并用于预测和决策。此外，数据可视化和探索性数据分析也是大数据概论的重要内容，通过可视化技术可以将复杂的数据转化为直观的图表和可视化图像，帮助人们更好地理解和分析数据。 大数据概论在各个领域都有广泛的应用。在商业领域，大数据概论可以帮助企业分析市场趋势、预测产品需求，并进行个性化推荐和营销策略优化。在金融领域，大数据概论可以用于风险控制和反欺诈，帮助银行和保险公司降低风险和损失。在医疗领域，大数据概论可以用于疾病预测和诊断，辅助医生做出更准确的诊断和治疗方案。 总之，大数据概论是一门应用于处理和分析大数据的学科。它涵盖了数据处理和存储技术、数据挖掘和机器学习方法，以及数据可视化和探索性数据分析等方面。通过应用大数据概论的方法和技术，可以从海量的数据中提取有价值的信息和知识，为各个领域带来新的机遇和挑战。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值