Hadoop
文章平均质量分 92
wangzhongyudie
这个作者很懒,什么都没留下…
展开
-
Hadoop学习笔记系列:06-MapReduce的详细过程图解及源码解读之Map
一个MapReduce作业是客户端需要执行的一个工作单元:它包括输入数据,MapReduce程序和配置信息。Hadoop将作业分为若干个task来执行,其中主要包括两类:map任务和reduce任务。这些任务运行在集群的节点上,并通过YARN进行调度。一个完整的MapReduce程序由client,map,reduce这三大块组成。由上图我们知道,有多少一个Input Split就会对应多少个map,hadoop会为每一个input split创建一个map任务,所以map的数量是由input split的原创 2022-06-07 15:59:55 · 550 阅读 · 0 评论 -
Hadoop学习笔记系列:05-MapReduce的详细过程图解及源码解读之Client
一个MapReduce作业是客户端需要执行的一个工作单元:它包括输入数据,MapReduce程序和配置信息。Hadoop将作业分为若干个task来执行,其中主要包括两类:map任务和reduce任务。这些任务运行在集群的节点上,并通过YARN进行调度。一个完整的MapReduce程序由client,map,reduce这三大块组成。Hadoop将MapReduce的输入数据划分成为等长的的小数据块,称为输入分片(Input Split),如上图所示。Hadoop为每个分片构建一个map任务,并由改任务来运行原创 2022-06-07 15:59:14 · 319 阅读 · 0 评论 -
Hadoop学习笔记系列:04-第一个MapReduce程序WordCount
文章目录一、idea新建maven项目,配置scala环境二、配置pom.xml,添加依赖三、编写代码,完整的代码如下:四、打成jar包,上传到Linux服务器上,执行命令:五、总结入口类的编写流程Mapper类的实现Reduce类的实现六:可能遇到的错误和应当避免的坑小心导包错误,导致程序的错误一、idea新建maven项目,配置scala环境File–>Project Structure -->Modules二、配置pom.xml,添加依赖<?xml version="1.0"原创 2022-05-26 18:59:43 · 158 阅读 · 0 评论 -
Hadoop学习笔记系列:03-Hadoop-Hdfs的Java Api的常用操作
文章目录概述一、添加pom.xml依赖HDFS的java API 操作创建Hdfs的FileSystem 环境创建目录判断文件或者目录是否存在创建文件上传本地文件到hdfs下载文件到本地删除文件或目录查看文件列表信息使用文件流的方式写hdfs文件使用文件流的方式下载文件完整的代码示例报错:java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.报错解决报错: Permission denied: user=TianTi原创 2022-05-26 00:25:19 · 672 阅读 · 0 评论 -
Hadoop学习笔记系列:02-Hadoop-Hdfs的shell命令的常用操作
文章目录hdfs的dfs shell常用命令操作hdfs dfs命令的所有操作权限相关操作文件相关操作上传本地文件到hadoop的dfs文件系统将文件从hadoop的hdfs文件系统下载到本地新建文件:touch查找文件:find查看文件内容文件重命名:mv删除文件:rm清空文件内容直到指定的长度:truncate + 文件大小目录相关操作创建目录 mkdir删除目录 rmdirhdfs 的常用命令查看hadoop的版本信息:hdfs version获取hadoop的配置信息hdfs的dfs shell常原创 2022-05-26 00:24:22 · 838 阅读 · 0 评论 -
Hadoop学习笔记系列:01-Hadoop-Yarn高可用HA集群的搭建
文章目录集群规划环境准备Hadoop集群配置Hadoop环境变量配置core-site.xmlhdfs-site.xmlworkerhadoop-env.shYarn集群配置yarn-site.xmlHadoop环境变量配置初始化Hadoop启动Hadoop集群浏览器中输入集群规划HostNameNodeDataNodeJournalNodeZKResourceManagerNodeManagerk8s-node3YYYk8s-node6YYY原创 2022-04-22 18:08:46 · 1201 阅读 · 0 评论