大数据
世幻水
路还长,继续加油!
展开
-
从0开始的Hadoop之手写WordCount(Idea版)
本文将从Hadoop的下载安装开始,运行出你的第一个MapReduce程序 —— WordCount。实验平台为windows。目录1、Hadoop 的下载和安装下载地址:https://hadoop.apache.org/releases.html选择你要需要的版本,然后点击 Binary 下载。小编使用的是长期支持版3.2.1,点击进入以后会有下载链接,点击下载。下载的是.tar.gz的压缩文件,我们需要对其进行解压。之后是环境变量的配置。ps:其他可选环境变量配置变量名原创 2020-10-19 19:36:37 · 497 阅读 · 0 评论 -
CentOS8 安装 Hadoop3.2.1 配置伪分布式
1、下载并配置java环境点击标题,在上一篇文章中,讲的很详细了2、下载并解压hadoop安装包使用下面的连接来完成下载wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz之后使用tar -xzvf来进行解压tar -xzvf hadoop-3.2.1.tar.gz最后会产生hadoop-3.2.1这样一个文件夹您也可以使用其他版本【下载网址】...原创 2020-10-02 16:30:43 · 1089 阅读 · 0 评论 -
hadoop启动缺少NameNode, 缺少ResourceManager, 缺少NodeManager...
描述:在hadoop 运行start-all.sh,发现缺少了NameNode, 缺少ResourceManager, 缺少NodeManager…等等的服务。这类问题有统一的解决方案。即查阅hadoop日志。目录1.hadoop日志2.1 没有NameNode(选读)2.2 没有ResourceManager和NodeManager(选读)2.3 没有ResourceManage(选读)3. 总结1.hadoop日志hadoop日志位于 hadoop 安装目录下的logs里,包含原创 2020-10-02 13:59:33 · 12250 阅读 · 4 评论 -
两种解决ERROR: Attempting to operate on hdfs namenode as root的方法
描述:hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误[root@localhost sbin]# start-all.shStarting namenodes on [hadoop]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting datanodesERROR:原创 2020-10-01 21:08:24 · 41263 阅读 · 24 评论