hadoop
文章平均质量分 65
怒上王者
加油!
展开
-
spark本地项目报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
spark本地项目报错:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.idea本地运行spark程序是报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(She原创 2021-12-21 15:10:44 · 1778 阅读 · 1 评论 -
hadoop伪分布式集群搭建
hadoop伪分布式集群搭建一、关闭防火墙二、关闭selinux三、安装jdk 四、修改主机名、hosts 五、hadoop安装及配置1、将hadoop安装包上传到 /opt 目录下2、解压安装包4、配置hdfs-site.xml5、配置mapred-site.xml6、配置yarn-site.xml7、配置slaves8、配置Hadoop环境配置9、创建core/hdfs-site.xml里配置的路径10、Hadoop的初始化11、启动hadoop12、访问hadoop的webUI界面一、关闭防火墙s原创 2021-04-06 17:07:10 · 1287 阅读 · 0 评论 -
Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制
Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制Hadoop RestFulHadoop HDFS原理1Hadoop HDFS原理2Hadoop作业调优参数调整及原理Hadoop HAHadoop MapReduce高级编程Hadoop IOHadoop MapReduce工作原理Hadoop 管理Hadoop 集群安装Hadoop RPC第一部分:当前HDFS架构详尽分析HDFS架构•NameNode•DataNo...转载 2021-03-09 10:25:47 · 183 阅读 · 0 评论 -
查看hadoop版本
输入hadoop version[root@hadoop101 ~]# hadoop versionHadoop 2.6.0-cdh5.16.2Subversion http://github.com/cloudera/hadoop -r 4f94d60caa4cbb9af0709a2fd96dc3861af9cf20Compiled by jenkins on 2019-06-03T10:41ZCompiled with protoc 2.5.0From source with check原创 2021-03-04 17:42:53 · 4864 阅读 · 1 评论 -
Hadoop之-HDFS上大量小文件的问题及解决方案
前言我们知道,HDFS被设计成存储大规模的数据集,我们可以在HDFS上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 NameNode 节点维护,为了达到高效的访问, NameNode 在启动的时候会将这些元数据全部加载到内存中。而HDFS中的每一个文件、目录以及文件块,在 NameNode 内存都会有记录,每...原创 2019-06-04 11:12:07 · 6031 阅读 · 0 评论