![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 61
Hadoop学习
盛夏光年hs
不写,就无法思考 -- 卢曼
展开
-
Hadoop 3 端口号的改变
Hadoop 3 端口号的改变分类应用Haddop 2.x portHaddop 3 portNNPortsNamenode80209820NNPortsNN HTTP UI500709870NNPortsNN HTTPS UI504709871SNN portsSNN HTTP500919869SNN portsSNN HTTP UI500909868DN portsDN IPC500209867DN por原创 2021-06-06 09:08:50 · 265 阅读 · 0 评论 -
Could not find .apache.hadoop.mapreduce.v2.app.MRAppMaster
Hadoop3.14 .Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster异常信息:[2021-05-28 22:08:16.989]Container exited with a non-zero exit code 1. Error file: prelaunch.err.Last 4096 bytes of prelaunch.err :Last 4096 bytes原创 2021-05-28 22:31:40 · 133 阅读 · 0 评论 -
第二章 HDFS的shell操作
第二章 HDFS的shell操作2.1 基本语法hadoop fs 具体命令hdfs dfs 具体名2.2常用命令上传-moveFromLocal:从本地剪切粘贴到HDFS-copyFromLocal 从本地文件系统中拷贝文件到HDFS路径去.-put 等同于 copyFromLocal-appendToFile 追加一个文件到已经存在的文件末尾下载-copyToLocal 从HDFS拷贝到本地-get 等同-copyToLocal直接操作-ls原创 2021-04-18 21:48:32 · 135 阅读 · 0 评论 -
第一章 HDFS概述
第一章 HDFS概述1.1 HDFS 产出背景及定义HDFS 产生背景随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。HDFS 定义HDFS(Hadoop Distributed File System),它是一个文件系统,用于存储文件,通过目录树来定位文件其次,它是分布式的,由很多服务器联合起来实现其功能,集群原创 2021-04-18 21:11:42 · 91 阅读 · 0 评论 -
Hadoop2.x和3.x版本区别
常用端口区别端口名称hadoop2.xhadoop3.xNameNode内部通信端口8020/90008020/9000/9820NameNode Http UI500709870MapReduce 查看执行任务端口80888088历史服务器通信端口1988819888原创 2021-04-18 14:14:21 · 527 阅读 · 0 评论 -
第三章 Hadoop 运行模式(2)
第三章 Hadoop 运行模式(2)3.2.4 集群配置集群部署规划NameNode和SecondaryNameNode 不要安装在同一台服务器ResourceManager也很消耗内存,不要和NameNode,SecondaryNameNode配置在同一台机器上hadoop102Hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManage原创 2021-04-18 14:08:27 · 92 阅读 · 0 评论 -
第三章 Hadoop 运行模式(1)
第三章 Hadoop 运行模式Hadoop运行模式包括三种模式本地模式(local)单机运行 只是用来演示一下官方的案例伪分布式模式也是单机运行,但是具备集群的功能,一台服务器模拟一个分布式环境,可用于测试完全分布式模式多个服务器组成的集群 生成环境使用3.1 本地模式(官方wordcount)准备一个测试文件 在文件中写入一下数据vim wcinputhadoop yarnhadoop mapreducea bc a执行测试用例hadoop原创 2021-04-18 12:52:44 · 153 阅读 · 0 评论 -
第二章 Hadoop运行环境搭建
第二章 Hadoop运行环境搭建2.1 模板虚拟机环境准备安装模板虚拟机ip地址:192.168.10.100主机名称: hadoop100内存4G硬盘50Ghadoop100虚拟机配置要求如下(centos7.5-x86-1804)使用yum安装需要虚拟机可以正常上网 ,yum安装之前可以ping 一下外网安装epel-releaseExtra Packages for enterprise linux 是为红帽系 的操作系统提供额外的软件包,适用于RHEL C原创 2021-04-17 01:56:53 · 157 阅读 · 0 评论 -
Hadoop概述
第一章 Hadoop概述1.1 Hadoop是什么Hadoop是一个有Apache基金会所开发的分布式系统基础架构主要解决海量数据存储和海量数据分析计算的问题广义上来说,Hadoop通常指的是一个更加广发的概念–Hadoop生态圈1.2 Hadoop发展历史Hadoop创始人Doug cutting ,为了实现google类似 的全文搜索功能,他在Lucene框架的基础上进行优化升级,查询引擎和搜索引擎.2001年年底,Lucene成为了Apache的一个子项目对于海量数据原创 2021-04-17 00:53:01 · 133 阅读 · 0 评论