点进来看看什么是真小白------hadoop的第一天(1)，2024年最新作为一个程序员你觉得最大的悲哀是什么

spark的生态圈

（1）Spark Core：Spark核心，提供底层框架及核心支持。包含Spark的基本功能，包括任务调度、内存管理、容错机制等。
（2）BlinkDB：一个用于在海量数据上运行交互式SQL查询的大规模并行查询引擎。
（3）Spark SQL：可以执行SQL查询，包括基本的SQL语法和HiveQL语法。
（4）Spark Streaming：流式计算。
（5）MLBase：专注于机器学习，让机器学习的门槛更低，让一些可能并不了解机器学习的用户也能方便地使用MLBase。
（6）MLlib：MLBase的一部分，MLlib是Spark的数据挖掘算法库，实现了一些常见的机器学习算法和实用程序，包括分类、回归、聚类、协同过滤、降维以及底层优化。
（7）GraphX：内置了很多的图相关算法。
（8）SparkR：SparkR是AMPLab发布的一个R开发包，使得R摆脱单机运行的命运，可以作为Spark的Job运行在集群上，极大地扩展了R的数据处理能力。

mapreduce和spark的区别

• mkapreduce是基于硬盘的迭代
• spark是基于内存
  所以，spark的运行速度比mapreduce快。

硬盘的迭代是指的技术的不断更新，提升了可存储，读写，可靠性。一般来说，硬盘的迭代会带来更高的性能，更大的容量

mapreduce和spark运行框架对比

mapreduce的运行框架

有五个步骤：（Map,Sort,Combine,Shuffle,Reduce）map和reduce是最重要的两个步骤

• Map步骤是在不同的机器上独立且同步运行的。主要目的是要把数据转换为key-value的形式
• Reduce步骤是做聚合运算，它是在不同机器上独立且同步运行的
• Map 和 Reduce 中间夹杂着一步数据移动，也就是 shuffle，这步操作会涉及数量巨大的网络传输，需要大量的时间
• 由于 MapReduce 的框架限制，一个 MapReduce 任务只能包含一次 Map 和一次 Reduce，计算完成之后，MapReduce 会将运算结果写回到磁盘中（更准确地说是分布式存储系统）供下次计算使用。
• 在MapReduce 框架下，数据的格式都是key-value 形式

Spark的运行框架

• Spark框架的核心是一个计算引擎，整体来说，它采用了标准的master-slave的结构。
• 三个主要组件组成：Driver节点、Cluster Manager和Executor节点。
• Driver节点是应用程序的入口点，它负责解析用户的应用程序代码，并将任务划分成一系列的任务，以及在集群上为任务安排调度。Driver节点负责管理各个任务之间的依赖关系，并将它们转换成一个可执行的物理执行计划
• Cluster Manager负责在集群中为应用程序分配资源。它可以是Standalone，YARN或Mesos等。
• Executor节点负责在工作节点上执行任务。每个Executor都运行在自己的JVM进程中，并且为应用程序分配了一定数量的内存和CPU资源。Executor在运行过程中负责接收和执行任务。

区别

• spark把运算的中间数据(shuffle阶段产生的数据)存放在内存，迭代计算效率更高，mapreduce的中间结果需要落地，保存到磁盘
• Spark容错性高，它通过弹性分布式数据集RDD来实现高效容错。
• Spark更通用，提供了transformation和action这两大类的多功能api，另外还有流式处理sparkstreaming模块、图计算等等，mapreduce只提供了map和reduce两种操作，流计算及其他的模块支持比较缺乏 。
• Spark计算框架对内存的利用和运行的并行度比mapreduce高，Spark运行容器为executor，内部ThreadPool中线程运行一个Task,mapreduce在线程内部运行container，container容器分类为MapTask和ReduceTask.程序运行并行度高

需要的基础linux命令

pwd

[root@hmm opt]# pwd
/opt

ls

[root@hmm opt]# ls
containerd  hadoop.txt

cd

[root@hmm ~]# cd ..
[root@hmm /]# cd ~
[root@hmm ~]# cd -
/

mkdir

[root@hmm /]# mkdir 0503
[root@hmm /]# ls
0503  boot  etc   lib    media  opt   root  sbin  sys  usr
bin   dev   home  lib64  mnt    proc  run   srv   tmp  var

rm

[root@hmm /]# ls
0503  boot  etc   lib    media  opt   root  sbin  sys  usr
bin   dev   home  lib64  mnt    proc  run   srv   tmp  var
[root@hmm /]# rm -rf 0503/
[root@hmm /]# ls |grep 0503
···
### cp
```bash
[root@hmm /]# cd /opt/
[root@hmm opt]# ls
containerd  hadoop.txt
[root@hmm opt]# cp hadoop.txt /root/hmmmmm
[root@hmm opt]# ls /root/hmmmmm 
/root/hmmmmm

cat

[root@hmm opt]# cat hadoop.txt 
yun3 hmm

tar

[root@hmm opt]# tar -cvf hmm.tar hadoop.txt 
hadoop.txt
[root@hmm opt]# ls
containerd  f  g  hadoop.txt  hmm.tar
[root@hmm opt]# ls
containerd  hadoop.txt  hmm.tar

useradd

[root@hmm opt]# useradd hmm

passwd

[root@hmm opt]# passwd hmm
Changing password for user hmm.
New password: 
BAD PASSWORD: The password is shorter than 8 characters
Retype new password: 
passwd: all authentication tokens updated successfully.

chown

[root@hmm opt]# chown hmm:root hadoop.txt 
[root@hmm opt]# ll hadoop.txt 
-rwxrwxrwx 1 hmm root 9 Mar  8 17:34 hadoop.txt

chmod

[root@hmm opt]# ls
containerd  hadoop.txt  hmm.tar
[root@hmm opt]# chmod 777 hadoop.txt 
[root@hmm opt]# ll
total 16
drwx--x--x. 4 root root    28 Mar  5 16:57 containerd
-rwxrwxrwx  1 root root     9 Mar  8 17:34 hadoop.txt
-rw-r--r--  1 root root 10240 Mar  8 17:37 hmm.tar

su

[root@hmm opt]# su hmm
[hmm@hmm opt]$ who
root     tty1         2024-03-08 17:25
root     pts/0        2024-03-08 17:27 (192.168.130.1)

vim

[root@hmm opt]# vim hadoop.txt 

yun3 hmm

clear

[root@hmm opt]# clear

hostname

**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/73db7aa9355b50b912b415f2908b0a2c.png)
![img](https://img-blog.csdnimg.cn/img_convert/aa47cf2dcd9063c17a423c7b3eb05d1c.png)
![img](https://img-blog.csdnimg.cn/img_convert/37bea01757328bd95af5da7cd851a5dc.png)
![img](https://img-blog.csdnimg.cn/img_convert/372c62f99fd8ab9fee17f43a2ffe9e41.png)
![img](https://img-blog.csdnimg.cn/img_convert/cc3a1fb284ce53c3e9d36ce0d96a5335.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/13c178d3198bb30f5e44b9afcfa9d703.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-oUtMFhWC-1713037800973)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**