Hadoop
Hadoop
YJ语
这个作者很懒,什么都没留下…
展开
-
12.Hadoop学习总结
原创 2021-10-24 14:02:55 · 1181 阅读 · 0 评论 -
【hdfs】11.HDFS在Linux下的命令
查看目录结构hdfs dfs -ls 查看当前目录结构hdfs dfs -ls /input 查看指定目录(/input)结构递归显示目录结构hdfs dfs -ls -R 递归显示当前目录结构hdfs dfs -ls -R /input 递归显示指定目录(/input)结构创建目录hdfs dfs -mkdir /input 创建指定目录hdfs dfs -mkdir -p /user/hdfs 递归创建指定目录创建文件touch ***.txt上传文件 hdfs df原创 2021-06-22 20:03:53 · 720 阅读 · 0 评论 -
【Yarn】10.Yarn操作流程
文章目录1.0 Yarn简介2.0 Yarn工作机制1.0 Yarn简介介绍Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台。而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。组成ResourceManagerNodeManagerApplicationMasterContainer基础架构2.0 Yarn工作机制(1)MR 程序提交到客户端所在的节点。(2)YarnRunner 向 ResourceManage原创 2021-05-28 11:40:31 · 77 阅读 · 0 评论 -
【MapReduce】9.MapReduce过程详解
文章目录0.0 定义0.1 定义0.2 功能0.3 优缺点1.0 MapReduce架构1.1 架构图1.1 架构的细节1.2 一些问题1.2.1 MapReduce工作流程1.2.2 InputFormat数据输入1.2.2.1 切片与MapTask并行度决定机制1.2.2.2 FileInputFormat切片1.2.2.3 CombineTextInputFormat切片机制1.2.3 MapTask工作机制1.2.4 shuffle工作机制1.2.5 ReduceTask工作机制1.2.6 结原创 2021-05-28 11:40:18 · 187 阅读 · 0 评论 -
【HDFS】8.一些思考
思考:为什么块的大小不能设置太小,也不能设置太大?(1)HDFS的块设置太小,会增加寻址时间,程序一直在找块的开始位置;(2)如果块设置的太大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时,会非常慢。总结:HDFS块的大小设置主要取决于磁盘传输速率。...原创 2021-05-14 16:07:35 · 46 阅读 · 0 评论 -
【HDFS】7.刨析HDFS的工作流程
原创 2021-05-14 16:03:02 · 69 阅读 · 0 评论 -
【HDFS】6.HDFS概述
原创 2021-05-14 14:43:28 · 63 阅读 · 0 评论 -
【hadoop】5.集群启动/停止方式总结
1)各个模块分开启动/停止(配置 ssh 是前提)常用(1)整体启动/停止 HDFSstart-dfs.sh/stop-dfs.sh(2)整体启动/停止 YARNstart-yarn.sh/stop-yarn.sh2)各个服务组件逐一启动/停止(1)分别启动/停止 HDFS 组件hdfs --daemon start/stop namenode/datanode/secondarynamenode(2)启动/停止 YARNyarn --daemon start/stop re原创 2021-05-12 14:27:30 · 71 阅读 · 0 评论 -
【hadoop】4.完全分布式部署Hadoop
1)准备 3 台客户机(关闭防火墙、静态 IP、主机名称)2)安装 JDK3)配置环境变量4)安装 Hadoop5)配置环境变量6)配置集群(1)集群部署规划(2)配置文件核心配置文件配置 ——core-site.xmlHDFS 配置文件——配置 hdfs-site.xmlYARN 配置文件——配置 yarn-site.xmlMapReduce 配置文件——配置 mapred-site.xml7)单点启动(1)如果集群是第一次启动,需要对节点进行格式化hdfs namen原创 2021-05-12 14:27:15 · 53 阅读 · 0 评论 -
【hadoop】3.hadoop环境的配置
1)利用模板机 hadoop100,克隆三台虚拟机:hadoop102 hadoop103 hadoop1042)修改克隆机 IP3)修改克隆机主机名4) 安装JDK(这里重点关注的是JDK环境变量)4)安装hadoop(这里关注的是Hadoop的环境变量)...原创 2021-05-12 14:26:46 · 71 阅读 · 0 评论 -
【hadoop】2.模板虚拟机的准备
0)安装模板虚拟机,IP 地址 192.168.10.100、主机名称 hadoop100、内存 2G、硬盘 50G1)hadoop100 虚拟机配置要求如下(本文 Linux 系统全部以 CentOS-7.5-x86-1804 为例)(1)使用 yum 安装需要虚拟机可以正常上网,yum 安装前可以先测试下虚拟机联网情况[root@hadoop100 ~]# ping www.baidu.com(2)安装 epel-release[root@hadoop100 ~]# yum instal原创 2021-05-11 15:25:14 · 94 阅读 · 0 评论 -
【Hadoop】1.由大数据到Hadoop
【Hadoop】1.由大数据到Hadoop1 大数据概论2 Hadoop2.1 Hadoop是什么2.2 Hadoop发展历史2.3 Hadoop三大发行版本2.4 Hadoop的优势(4高)3 Hadoop组成3.1 Hadoop的两种版本3.2 HDFS架构概述3.3 YARN架构概述3.4 MapReduce架构概述1 大数据概论大数据(BigData) :指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程.优化能力的海量、高原创 2021-04-27 16:01:22 · 125 阅读 · 0 评论 -
GFS和HDFS
原创 2021-04-15 10:34:32 · 332 阅读 · 0 评论