【大数据学习-hadoop1】大数据如何处理

已于 2022-01-28 18:00:15 修改
阅读量1.5k 收藏
点赞数
文章标签： big data 大数据
于 2022-01-28 17:22:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40485502/article/details/122733919
版权

文章目录

1. 大数据启蒙

学习视频
大数据多，复杂度很重要，

  • 内存不够，分治处理
  • IO仍成为瓶颈，多机器并行
  • 多机器间通信也可以并行，但仍是个问题
    • 分发上传，累计计算的话，多台同时跑+通信也比一台快

总结（大数据的重点）

  • 分而治之
  • 并行计算
  • 计算向数据移动：数据移动化成本高
  • 数据本地化读取

1.1 意义

1.1.1 查找元素

1w个元素中查找X？
线性查找：O(N)
想要O(4)呢？hash
在这里插入图片描述

1.1.2 单机处理大数据问题

大文本，仅两行一样，想要找出。
单机，内存小（几十兆）
在这里插入图片描述
2. 如果文件中全是数字，做排序呢？
桶排序：外部有序，内部无序
先分到不同桶里，再给桶内排序

归并：一次读50M排序，第二次在读50M对这个50M排序–外部无序，内部无序

单机IO瓶颈，所以多机器并行
在这里插入图片描述
多台机器并行操作，处理速度快，但不同机器间网络通信?

1.2 历史

Hadoop
NDFS（一开始的文件系统）
hadoop.apache.org:顶级项目

1.3 hadoop

hadoop项目包含：
1.x:
hadoop common
hdfs(hadoop distributed file system
hadoop mapreduce
2.x:
新增yarn：job管理、资源分配

其他相关项目（生态圈）：
Hbase：
Hive：sql、数仓
Spark：用内存，更快，是hadoop的十倍
Zookeeper:协调服务
…
在这里插入图片描述
网站：www.cloudera.com
ducumentation:选择版本
目前企业版本：5.16.X–可靠，hadoop2.6
原来：batch批量计算
flink/spark:全栈的

  • flink:阿里用的多：流式计算，来一个搞一个/5min跑一次
    • 可以实时
  • spark:伪实时
叶落叶子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据高级-hadoop部署
05-18
大数据高级-hadoop部署
大数据技术——处理架构Hadoop
weixin_64662113的博客
10-22 1733
生态系统：Hadoop 生态系统包括许多附加组件，如 Apache Hive、Apache Pig、Apache HBase 等，这些组件扩展了 Hadoop 的功能，使其更适合各种大数据处理需求。它在云计算、商业智能、日志分析等领域都有广泛的应用。的终端中输入密码，终端是不会显示任何你当前输入的密码，也不会提示你已经输入了多少字符密码，读者不要误以为键盘没有响应。凭借其突出的优势，已经在各个领域得到了广泛的应用，而互联网领域是其应用的主阵地。的公司主要有百度、淘宝、网易、华为、中国移动等，其中，淘宝的。
使用Hadoop进行大数据处理
禅与计算机程序设计艺术
01-18 829
1.背景介绍 Hadoop是一个开源的大数据处理框架，由Yahoo!开发并于2005年公开发布。它可以处理海量数据，并提供了一个分布式文件系统(HDFS)和一个数据处理框架(MapReduce)。Hadoop的设计目标是简化大数据处理任务的复杂性，使其易于扩展和可靠。 Hadoop的核心组件包括： HDFS(Hadoop Distributed File System)：一个分布式文件系统...
Hadoop大数据处理与分析教程
m0_51338409的博客
10-19 2101
本文所需文件(Vmware虚拟机、密匙、乌班图系统、JDK、Hadoop）链接：https://pan.baidu.com/s/1yU5s36Rgl_jE_mAmHsJBfQ?pwd=i5s6提取码：i5s6。
单机模式处理大数据，搜集一些好用的开源利器
大魁的专栏
08-27 4671
1. LibFM 项目主页：http://www.libfm.org/ 2. Svdfeature 项目主页：http://apex.sjtu.edu.cn/apex_wiki/svdfeature 3. Libsvm和Liblinear libsvm项目主页：http://www.csie.ntu.edu.tw/~cjlin/libsvm/ liblinear项目
大数据处理架构Hadoop
小马哥的博客
10-02 1141
大数据
大数据开发--hadoop全套学习课程--百度网盘
03-23
包含常见大数据技术的资料和视频，例如 hadoop2.x、hive、hbase、flume、storm、spark等，以及mongodb、redis数据库资料等。资源需要下载，解压密码见文件名
云计算与大数据技术-Hadoop分布式大数据系统.ppt
05-24
6.1　Hadoop概述 6.2　HDFS 6.2.1　HDFS文件系统的原型GFS 6.2.2　HDFS文件的基本结构 6.2.3　HDFS的存储过程 6.3　MapReduce编程框架 6.3.1　MapReduce的发展历史 6.3.2　MapReduce的基本工作过程 6.3.3　LISP中的...
大数据-Hadoop-MapReduce介绍
最新发布
04-21
主要介绍了Hadoop的MapReduce的Java编程接口，包括Mapper API和Reducer API，Job的运行模式、工作流
大数据--Hadoop HDFS
08-09
大数据 Hadoop HDFS 详解
大数据之Hadoop
m0_54691741的博客
12-23 1621
个人学习所用，如有不足之处将继续改进
大数据技术原理与应用----大数据处理架构Hadoop
weixin_52185996的博客
09-07 1994
（1）HDFS：分布式文件存储；（2）YARN：底层的资源调度管理；（3）MapReduce：离线计算，基于磁盘（一般不用于实时计算）；（4）Tez：用于把MapReduce的很多作业优化构建一个有向无环图，保证获得最好的处理；（5）Spark：基于内存计算，性能比MapReduce高一个等级；（6）Hive：数据仓库，提供企业决策依据，用于企业数据分析；（7）Pig：轻量级分析，流数据处理；（8）Oozie：作业调度系统；（9）Zookeeper：分布式协调一致式服务；
大数据开发：Hadoop数据处理流程分解
shuimuzh123的博客
06-25 1449
Hadoop作为分布式大数据处理系统的典型代表，在大数据领域的应用可以说是占据了相当重要的市场。因为Hadoop是开源项目，所以基于Hadoop去搭建大数据平台，对于企业而言，不会增加更大的成本支出。今天，我们就主要来聊聊Hadoop数据处理是怎么来实现的。 Hadoop数据处理，主要依靠的就是分布式文件系统HDFS和分布式计算框架MapReduce，另外，还有Yarn组件系统来负责分布式任务调度。 HDFS，主要解决的是大数据存储的问题。HDFS采用的典型的主从结构，一个HDFS集群是由一个N.
Hadoop-hdfs读写流程
学习小天地
12-06 1185
HDFS写流程     写详细步骤： 客户端向NameNode发出写文件请求。 检查是否已存在文件、检查权限。若通过检查，直接先将操作写入EditLog，并返回输出流对象。 （注：WAL，write ahead log，先写Log，再写内存，因为EditLog记录的是最新的HDFS客户端执行所有的写操作。如果后续真实写操作失败了，由于在真实写操作之前，操作就被写入EditLog中了，...
学习如何使用HadoopHBase进行大数据处理
禅与计算机程序设计艺术
01-21 806
1.背景介绍 大数据处理是当今计算机科学领域中的一个热门话题。随着数据的增长和复杂性，传统的数据处理方法已经无法满足需求。因此，大数据处理技术的研究和应用变得越来越重要。 在大数据处理领域，Hadoop和HBase是两个非常重要的技术。Hadoop是一个分布式文件系统，可以存储和处理大量数据。HBase是一个分布式、可扩展的列式存储系统，可以存储和处理海量数据。在本文中，我们将讨论如何使用Ha...
在单机上处理大数据包时，节约内存的一种方法（python）～
weixin_38675215的博客
01-29 286
8G的mac真是带不动大的数据包啊，感觉2g已经开始卡顿了。在kaggle上看到很多人用一个方法减少内存占用，看了下原理是减少int型数字占用的位数，给每个int型数据分配合适的空间避免浪费。还挺实用。粘过来mark 如下： # Memory saving function credit to https://www.kaggle.com/gemartin/load-data-reduce-...
Hadoop大数据处理流程
sn_gis的专栏
06-10 4206
对于典型的安装而言，Hadoop是整个数据流的中心
大数据处理系统学习笔记（二）之Hadoop
albertyzy的博客
06-19 421
这次总结一下hadoop的相关知识点，主要参考了以下三个链接第三章：Hadoop的一些基本概念分布式计算框架Hadoop原理及架构全解Hadoop基本原理和维基页面Apache_Hadoop，MapReduce现在常见的有三大分布式计算系统：Hadoop，Spark和Storm。前两个由Apache开发，后一个由Twitter开发。Hadoop使用硬盘存储数据，数据持久性强但是受硬盘读写速度影响数...
Hadoop大数据分析及数据挖掘 读书笔记（1）
热门推荐
lzx704的博客
03-23 2万+
前言 阅读时间：20180318-20180322 来源：Kindle 数据挖掘基础 数据挖掘的概念： 从数据中“淘金”，从大量数据（文本）中挖掘出隐含的、未知的、对决策有潜在的关系、模型和趋势，并用这些知识和规则建立用于决策支持的模型，提供预测性决策支持的方法、工具和过程，这就是数据挖掘。 它是利用各种分析工具在大量数据中寻找其规律和发现模型与数据之间关系的过程，是统计学、数...
大数据框架--hadoop、spark、storm、flink、samza介绍
06-28
### 回答1： Hadoop是一个开源的分布式计算框架，主要用于处理大规模数据集。它的核心是HDFS（Hadoop分布式文件系统）和MapReduce计算模型。 Spark是一个快速、通用的大数据处理引擎，可以在内存中进行数据处理，比Hadoop MapReduce更快。它支持多种数据源，包括HDFS、HBase、Cassandra等。 Storm是一个分布式实时计算系统，可以处理实时数据流。它的核心是Storm集群，可以在多个节点上运行，实现高可用性和可扩展性。 Flink是一个分布式流处理框架，可以处理实时数据流和批处理数据。它的核心是DataStream API，可以进行流式计算和窗口计算。 Samza是一个分布式流处理框架，可以处理实时数据流。它的核心是Kafka和YARN，可以实现高可用性和可扩展性。 ### 回答2： 大数据框架是指一组用于处理大规模数据的软件工具。随着大数据及其分析应用的不断增长，数十个大数据框架已经随着时间而推出，其中包括hadoop、spark、storm、flink、samza等。下面将对这几种大数据框架进行详细介绍。 1. Hadoop Hadoop是一个在大数据应用领域最流行的框架。它是以Java语言开发的，是一个分布式的计算平台。通过它，用户能够处理超过普通计算机可以承受的数据量。Hadoop集群由多个计算机组成，在不同的计算机上存储和计算数据。Hadoop的主要组件包括HDFS（分布式文件系统），MapReduce计算模型（可以实现大规模数据的并行处理）。 2. Spark Spark是一个基于内存的计算框架，可以实现大数据的快速处理。与Hadoop相比，Spark运行速度更快，因为它可以在内存中执行计算任务。Spark可以通过Java、Scala和Python编写，还支持Spark SQL（基于SQL的查询），Spark Streaming（处理实时数据流）、MLlib（机器学习库）等功能模块。 3. Storm Storm也是一个实时数据处理框架。它能够实现一种“实时数据流”的处理模式，这在需要对流式数据进行实时处理和计算的场景中非常有用。Storm是一个分布式的框架，包括多个节点，支持高可靠性、水平扩展、非常灵活的拓扑连接等功能。 4. Flink Flink是一个高度可扩展、分布式的计算框架。它支持流式处理和批处理。通过内存进行数据计算，速度更快，同时也支持实时流式数据处理。Flink将传统的批量处理和流式处理集成到了一个框架中，将批量计算看成一种特殊形式的流式计算。 5. Samza Samza是一个其他不同大数据框架的组件，它是一个分布式流处理器，可以处理大量的流数据。它可以作为批处理系统的组件来使用，提供可靠的消息传递、基于字符串的状态存储、多维度流处理和都市需求等功能。Samza主要用于大规模流式数据的分析和处理，通常和其他的大数据处理框架一起使用。 总体来说，以上这几种大数据框架适用于不同的场景和需求。在实际应用时，需要根据具体情况进行选择和使用，以达到最佳的效果和效率。 ### 回答3： 大数据框架是当今大数据技术领域中越来越重要的一部分。在众多大数据框架中，Hadoop、Spark、Storm、Flink和Samza是其中最常用的框架。 Hadoop是由Apache基金会开发的开源框架，主要用于存储和处理大数据。它的核心组件包括HDFS和MapReduce。HDFS是一个分布式文件系统，通常用于存储大数据，而MapReduce是一种分布式数据处理模型，用于对大数据进行批处理。 Spark是另一个Apache开源项目，也是用于大数据处理的框架。与Hadoop不同的是，Spark使用内存计算，这意味着它可以比Hadoop更快地处理大量数据。Spark支持多种编程语言，包括Java、Scala和Python，也支持SQL查询和图形计算。 Storm是另一个Apache开源项目，主要用于流式数据处理。与Hadoop和Spark不同的是，Storm能够实时处理流数据，而不需要等待离线批处理。Storm支持容错和高可用性，并支持多种编程语言，包括Java、Scala和Clojure。 Flink是由Apache开发的开源流处理框架。与Storm类似，Flink也可以进行实时数据处理，并支持批处理模式。Flink的主要特点是低延迟和高吞吐量，同时支持复杂事件处理和机器学习。 最后，Samza也是另一个Apache开源框架，主要用于流式数据处理。与Storm和Flink不同的是，Samza的焦点是可扩展性和容错性。Samza的主要优点之一是它与Kafka集成良好，Kafka是一个分布式消息队列。 总之，Hadoop、Spark、Storm、Flink和Samza都是在大数据领域中广泛应用的重要框架。每个框架都有自己的特点和优劣，应根据具体的大数据需求和场景进行选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值