大数据
文章平均质量分 58
景庆197
内心丰盈者,独行也如众
展开
-
hadoop3.x\2.x常用端口,和常用配置文件
常用端口号hadoop3.xHDFS NameNode 内部通常端口:8020/9000/9820HDFS NameNode 对用户的查询端口:9870Yarn查看任务运行情况:8088历史服务器:19888hadoop2.xHDFS NameNode 内部通常端口:8020/9000HDFS NameNode 对用户的查询端口:50070Yarn查看任务运行情况:8088历史服务器:19888常用配置文件3.x core-site.xml...原创 2022-04-19 14:48:56 · 3387 阅读 · 0 评论 -
MapeReduce中job提交流程
源码流程自己走一遍目录job提交流程图概念补充Job源码流程1.新旧API3.查看路径问题4.拷贝和配置相关信息5.设置切片信息6.提交xml.配置信息7.提交完毕job提交流程图MapTask的并行决定map阶段的任务处理并发度,影响到整个job的处理速度概念补充数据块:Block数HDFS物理上把数据分成一块一块。数据块是HDFS的默认存储单位,默认存储大小128MB数据切片:数据切片只在逻辑上对输入进行分片,并不会在磁盘上将其...原创 2022-04-24 19:06:02 · 1381 阅读 · 0 评论 -
Shell编程基本指令
1.helloword编写脚本要以#!/bin/bash开头指定解析器执行原创 2022-05-13 20:02:39 · 4148 阅读 · 0 评论