- 博客(9)
- 收藏
- 关注
RSS订阅原创 Spark的通用运行流程分析
1. 启动集群，然后Worker节点会向Master节点心跳汇报资源(CPU core和Memory)情况2. Client(客户端)提交Application给资源管理器(Master)，根据不同的运行模式在不同的位置创建Driver3. Driver下的SparkContext连接到Master，向其注册Application并申请资源4. Master根据申请和Worker心跳周期的报告，决定在哪个Worker上分配资源(Executor)
2023-11-13 23:04:30
92
原创 大数据学习第七天
Zookeeper是 Apache(阿帕奇)软件基金会的一个软件项目。它是一个为分布式应用提供一致性服务的软件，分布式应用程序可以基于Zookeeper实现数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。Zookeeper现在是一个独立的顶级项目，而它曾经是Hadoop下的一个子项目。将一个任务部署在多个服务器，每个服务器都能独立完成该任务。
2023-10-25 20:19:09
34
原创 大数据学习第六天
在可选且对安全性要求不高的基础上，还是推荐rpm和yum的安装方式。软件包，能够从指定的服务器自动下载RPM 包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。是自动帮我们下载并安装软件，所以我们最关心的就是资源的源头在哪，如果在国外那漂洋过海的去下载岂不是很慢。yum包安装属于是前人栽树后人乘凉，前辈们把将需要的东西打包好，发送出来，方便后面的人直接下载使用。Linux中安装软件的方式很多种，这里介绍下一下四种：rpm、yum、压缩包解压安装、源码安装。
2023-10-23 20:35:38
30
原创 大数据学习第四天
在Windows里面，主机名称可以在控制面板里修改，在Linux里，主机名可以用hostname命令去修改，但这种修改只是临时有效。其他的虚拟机使用对应的虚拟机公钥对传输的文件进行加密，这样加密后的数据只有与其公钥对应的私钥才能解开。同样的，Linux里也可以创建权限低一些的用户。在某些情况下我们可以赋予普通用户一些超级用户的命令，例如创建用户的命令我们可以交给一个特定的用户去操作。中的重定向就是将原本要输出到屏幕中的数据信息，重新指向某个特定的文件中，或者定向到黑洞（但是赋予权限后，需要在命令前加上。
2023-10-19 21:30:45
27
1
原创 大数据学习第二天
在指定位置生成一个和源文件大小相同的镜像文件，以文件副本的形式存在。但不占用实际空间，不允许给目录创建硬链接，且硬链接只有在同一个文件系统中才能创建。通过 ssh 对方的用户名@对方的主机名 即可访问到对方主机(需要对方主机的密码)3.若源文件改名，则软连接不可用（找不到源文件），硬链接可正常访问到源文件。相当快捷方式，操作软连接也就相当于操作对应的文件，创建软链接要用绝对路径。2.软链接则是系统新建一个链接文件，此文件指向其所要指的文件。4.修改软连接、硬链接和源文件，访问三者都是同步变化的。
2023-10-17 22:48:02
43
原创 大数据学习计划第一天
移除虚拟机前言：虚拟机安装运行需要有足够的内存和硬盘空间。大数据学习阶段，需要三台虚拟机，这三台虚拟机需要这少16G的内存和100G硬盘空间。
2023-10-16 20:58:37
44
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人