- 博客(6)
- 收藏
- 关注
RSS订阅原创 1.2 Yarn 工作机制
（1）MR 程序提交到客户端所在的节点。 （2）YarnRunner 向 ResourceManager 申请一个 Application。 （3）RM 将该应用程序的资源路径返回给 YarnRunner。 （4）该程序将运行所需资源提交到 HDFS 上。 （5）程序资源提交完毕后，申请运行 mrAppMaster。 （6）RM 将用户的请求初始化成一个 Task。 （7）其中一个 NodeManager 领取到 Task 任务。 （8）该 NodeManager 创建容器 Cont...
2021-11-06 17:02:37
56
原创 HDFS 产出背景及定义
1）HDFS 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。 2）HDFS 定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务 器有各自的角色。 HDFS
2021-10-31 20:16:36
140
原创 linux文件目录类
9.4.1pwd指令 *基本语法 pwd（功能描述：显示当前工作目录的绝对路径） *应用实例 案例：显示当前工作目录的绝对路径 9.4.2 ls指令 *基本语法 ls[选项] [目录或是文件] *常用选项 -a：显示当前目录所有的文件和目录，包括隐藏的 -l：以列表的方式显示信息 9.4.3 cd指令 *基本语法 cd[参数] （功能描述：切换到指定目录） *常用参数 绝对路径和相对路径 cd~或者cd：回到自己的家目录 cd.. 回到当前目录的上一级目录 ..
2021-10-24 17:47:56
1560
原创 python基础知识
# 一个类型和六个方法 # response是HTTPResponse的类型 # print(type(response)) # 按照一个字节一个字节的去读 # content = response.read() # print(content) # 返回多少个字节 # content = response.read(5) # print(content) # 读取一行 # content = response.readline() # print(content) # content = re.
2021-10-16 15:41:26
39
原创 Python基础语法知识
一.标识符 1.第一个字符必须是字母表中字母或者下划线- 2.标识符中的其他部分由字母、数字和下划线组成。 3.标识符对大小写敏感。 二.Python保留字 保留字即关键字，我们不能把它们用作任何标识符名称。Python 的标准库提供了一个 keyword 模块，可以输出当前版本的所有关键字： ['False', 'None', 'True', 'and', 'as', 'assert', 'break', 'class', 'continue', 'def', 'del', 'elif',
2021-09-24 10:01:32
53
原创 Linux基础知识
一。Linux介绍： Linux 内核最初只是由芬兰人林纳斯·托瓦兹（Linus Torvalds）在赫尔辛基大学上学时出于个人爱好而编写的。 Linux 是一套免费使用和自由传播的类 Unix 操作系统，是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。 Linux 能运行主要的 UNIX 工具软件、应用程序和网络协议。它支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。 二。文件基本
2021-09-22 18:44:00
31
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人